Python數(shù)據(jù)集切分實(shí)例
在處理數(shù)據(jù)過(guò)程中經(jīng)常要把數(shù)據(jù)集切分為訓(xùn)練集和測(cè)試集，因此記錄一下切分代碼。
''' data:數(shù)據(jù)集 test_ratio:測(cè)試機(jī)占比 如果data為numpy.numpy.ndarray直接使用此代碼 如果data為pandas.DatFrame類(lèi)型則 return data[train_indices],data[test_indices] 修改為 return data.iloc[train_indices],data.iloc[test_indices] ''' def split_train(data,test_ratio): shuffled_indices=np.random.permutation(len(data)) test_set_size=int(len(data)*test_ratio) test_indices =shuffled_indices[:test_set_size] train_indices=shuffled_indices[test_set_size:] return data[train_indices],data[test_indices]
測(cè)試代碼如下：
import numpy as np import pandas as pd data=np.random.randint(100,size=[25,4]) print(data)
結(jié)果如下：
從上圖可以看出，原數(shù)據(jù)集按照5:1被隨機(jī)分為兩部分。但是此種方法存在一個(gè)缺點(diǎn)–每次調(diào)用次函數(shù)切分同一個(gè)數(shù)據(jù)集切分出來(lái)的結(jié)果都不一樣，因此常在np.random.permutation(len(data))先調(diào)用np.random.seed(int)函數(shù)，來(lái)確保每次切分來(lái)的結(jié)果相同。
因此將上述函數(shù)改為：
def split_train(data,test_ratio): np.random.seed(43) shuffled_indices=np.random.permutation(len(data)) test_set_size=int(len(data)*test_ratio) test_indices =shuffled_indices[:test_set_size] train_indices=shuffled_indices[test_set_size:] return data[train_indices],data[test_indices]
這個(gè)函數(shù)np.random.seed(43)當(dāng)參數(shù)為同一整數(shù)時(shí)產(chǎn)生的隨機(jī)數(shù)相同。
以上這篇Python數(shù)據(jù)集切分實(shí)例就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
python中使用enumerate函數(shù)遍歷元素實(shí)例
這篇文章主要介紹了python中使用enumerate函數(shù)遍歷元素實(shí)例,這是一個(gè)比較簡(jiǎn)單的例子,需要的朋友可以參考下2014-06-06
win7安裝python生成隨機(jī)數(shù)代碼分享
python3生成隨機(jī)數(shù)代碼分享，在win7上測(cè)試通過(guò)2013-12-12
這篇文章主要為大家詳細(xì)介紹了python異步存儲(chǔ)數(shù)據(jù)的相關(guān)資料，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2019-03-03
pytest使用parametrize將參數(shù)化變量傳遞到fixture
這篇文章主要為大家介紹了pytest使用parametrize將參數(shù)化變量傳遞到fixture的使用詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-05-05
本片文章主要給大家介紹了Git版本控制器的使用心得和技巧分享，需要的朋友學(xué)習(xí)參考下吧。2017-12-12
解決django無(wú)法訪(fǎng)問(wèn)本地static文件(js,css,img)網(wǎng)頁(yè)里js,cs都加載不了
這篇文章主要介紹了解決django無(wú)法訪(fǎng)問(wèn)本地static文件(js,css,img)網(wǎng)頁(yè)里js,cs都加載不了的問(wèn)題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-04-04
計(jì)算Python Numpy向量之間的歐氏距離實(shí)例
這篇文章主要介紹了計(jì)算Python Numpy向量之間的歐氏距離實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-05-05
python爬蟲(chóng)正則表達(dá)式之處理?yè)Q行符
本文是腳本之家小編剛學(xué)習(xí)python記錄的關(guān)于python爬蟲(chóng)正則表達(dá)式之處理?yè)Q行符的相關(guān)資料,需要的朋友可以參考下2018-06-06
使用Python對(duì)Excel進(jìn)行讀寫(xiě)操作
學(xué)習(xí)Python的過(guò)程中，我們會(huì)遇到Excel的讀寫(xiě)問(wèn)題。這時(shí)，我們可以使用xlwt模塊將數(shù)據(jù)寫(xiě)入Excel表格中，使用xlrd模塊從Excel中讀取數(shù)據(jù)。下面我們介紹如何實(shí)現(xiàn)使用Python對(duì)Excel進(jìn)行讀寫(xiě)操作。2017-03-03
Python中sort函數(shù)正則表達(dá)式的使用
在python中,sort是列表排序的一種方法,本文就來(lái)介紹一下sort函數(shù)正則表達(dá)式的使用以及與sorted的區(qū)別,具有一定的參考價(jià)值,感興趣的可以了解一下2024-03-03