快捷導(dǎo)航

python如何將數(shù)據(jù)集按比例隨機(jī)切分

更新時間：2023年09月09日 09:06:14 作者：Arxan_hjw

這篇文章主要介紹了python如何將數(shù)據(jù)集按比例隨機(jī)切分問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教

python將數(shù)據(jù)集按比例隨機(jī)切分

# -*- coding: utf-8 -*-
"""
    將數(shù)據(jù)按比例切分
"""
from sklearn import model_selection
c = []
j = 0
#filename = r'E:\NER\CCKS2020\Data\ccks2020_2_task1_train\task1_train.txt'
filename = open(r'task1_train.txt','r',encoding='utf-8')
out_train = open(r'train.txt', 'w',encoding='utf-8')
out_test = open(r'temp.txt', 'w',encoding='utf-8')
for line in filename:
    #    items = line.strip().split()
    c.append(line)
c_train, c_test = model_selection.train_test_split(c, test_size=0.2)
for i in c_train:
    out_train.write(i)
for i in c_test:
    out_test.write(i)

sklearn數(shù)據(jù)集隨機(jī)切分（train_test_split）

sklearn學(xué)習(xí)

給定數(shù)據(jù)集X和類別標(biāo)簽y，將數(shù)據(jù)集按一定比例隨機(jī)切分為訓(xùn)練集和測試集。

代碼

#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""
功能：數(shù)據(jù)集按比例切分為訓(xùn)練集和測試集
時間：2017年3月11日 12:48:57
"""
# from sklearn.cross_validation import train_test_split
from sklearn.model_selection import train_test_split  # 更新
# 生成200個句子，前100個和后100個類別分別對應(yīng)1和2
X = [[u"這是", u"第1個", u"測試"]] * 100 + [[u"這是", u"第2個", u"測試"]] * 100
y = [1] * 100 + [2] * 100
# 隨機(jī)抽取20%的測試集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)
print len(X_train), len(X_test)
# 查看句子和標(biāo)簽是否仍然對應(yīng)
for i in range(len(X_test)):
    print "".join(X_test[i]), y_test[i]
if __name__ == "__main__":
    pass

實驗結(jié)果

切分后的訓(xùn)練集和測試集標(biāo)簽仍然一一對應(yīng)。

更新

由于sklearn更新，代碼應(yīng)改為：

from sklearn.model_selection import train_test_split

總結(jié)

以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

Python?OpenCV超詳細(xì)講解讀取圖像視頻和網(wǎng)絡(luò)攝像頭
OpenCV用C++語言編寫，它具有C?++，Python，Java和MATLAB接口，并支持Windows，Linux，Android和Mac?OS，OpenCV主要傾向于實時視覺應(yīng)用，并在可用時利用MMX和SSE指令，本篇文章帶你了解OpenCV讀取圖像視頻與網(wǎng)絡(luò)攝像頭的方法
2022-04-04
python刪除列表元素的三種方法(remove,pop,del)
這篇文章主要介紹了python刪除列表元素的三種方法(remove,pop,del)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2019-07-07
python 可視化庫PyG2Plot的使用
這篇文章主要介紹了python 可視化庫PyG2Plot的使用方法，幫助大家更好的理解和使用python，感興趣的朋友可以了解下
2021-01-01
anaconda jupyter不能導(dǎo)入安裝的lightgbm解決方案
這篇文章主要介紹了anaconda jupyter不能導(dǎo)入安裝的lightgbm解決方案，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2021-03-03
python ctypes庫2_指定參數(shù)類型和返回類型詳解
今天小編就為大家分享一篇python ctypes庫2_指定參數(shù)類型和返回類型詳解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2019-11-11
控制Python浮點數(shù)輸出位數(shù)的操作方法
在python的輸出結(jié)果中，尤其是浮點數(shù)的輸出，當(dāng)我們需要寫入文本文件時，最好是采用統(tǒng)一的輸出格式，這樣也能夠增強(qiáng)結(jié)果的可讀性，這篇文章主要介紹了控制Python浮點數(shù)輸出位數(shù)的方法,需要的朋友可以參考下
2022-04-04
python接口自動化之使用token傳入到header消息頭中
這篇文章主要介紹了python接口自動化之使用token傳入到header消息頭中問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
2023-08-08
Python爬蟲批量爬取下載抖音視頻代碼實例
這篇文章主要介紹了Python爬蟲批量爬取下載抖音視頻代碼實例,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
2019-08-08
詳解django中自定義標(biāo)簽和過濾器
本篇文章主要介紹了django中自定義標(biāo)簽和過濾器，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧
2017-07-07
使用Python的Twisted框架構(gòu)建非阻塞下載程序的實例教程
Twisted的異步工作模式使其在非阻塞情況下可以擁有較高的性能,這里我們來看一下使用Python的Twisted框架構(gòu)建非阻塞下載程序的實例教程,包括服務(wù)器端與客戶端的實踐.
2016-05-05