快捷導(dǎo)航

python按比例隨機(jī)切分?jǐn)?shù)據(jù)的實(shí)現(xiàn)

更新時(shí)間：2019年07月11日 09:49:38 作者：HOU_JUN

這篇文章主要介紹了python按比例隨機(jī)切分?jǐn)?shù)據(jù)的實(shí)現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧

在機(jī)器學(xué)習(xí)或者深度學(xué)習(xí)中，我們常常碰到一個(gè)問題是數(shù)據(jù)集的切分。比如在一個(gè)比賽中，舉辦方給我們的只是一個(gè)帶標(biāo)注的訓(xùn)練集和不帶標(biāo)注的測(cè)試集。其中訓(xùn)練集是用于訓(xùn)練，而測(cè)試集用于已訓(xùn)練模型上跑出一個(gè)結(jié)果，然后提交，然后舉辦方驗(yàn)證結(jié)果給出一個(gè)分?jǐn)?shù)。但是我們?cè)谟?xùn)練過程中，可能會(huì)出現(xiàn)過擬合等問題，會(huì)面臨著算法和模型的選擇，此時(shí)，驗(yàn)證集就顯得很重要。通常，如果數(shù)據(jù)量充足，我們會(huì)從訓(xùn)練集中劃分出一定比例的數(shù)據(jù)來作為驗(yàn)證集。

每次劃分?jǐn)?shù)據(jù)集都手動(dòng)寫一個(gè)腳本，重復(fù)性太高，因此將此簡(jiǎn)單的腳本放到自己的博客。代碼如下：

import random

def split(full_list,shuffle=False,ratio=0.2):
  n_total = len(full_list)
  offset = int(n_total * ratio)
  if n_total==0 or offset<1:
    return [],full_list
  if shuffle:
    random.shuffle(full_list)
  sublist_1 = full_list[:offset]
  sublist_2 = full_list[offset:]
  return sublist_1,sublist_2


if __name__ == "__main__":
  li = range(5)
  sublist_1,sublist_2 = split(li,shuffle=True,ratio=0.2)

  print sublist_1,len(sublist_1)
  print sublist_2,len(sublist_2)

其中，main為測(cè)試代碼。假如訓(xùn)練集給出的是一個(gè)文件，我們先將文件讀到列表中，然后再調(diào)用split。

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

使用Python實(shí)現(xiàn)密碼與驗(yàn)證碼的MD5加密
在現(xiàn)代軟件開發(fā)中,數(shù)據(jù)加密是一個(gè)非常重要的環(huán)節(jié),無論是用戶密碼、驗(yàn)證碼,還是其他敏感信息,加密都是保護(hù)數(shù)據(jù)安全的關(guān)鍵手段之一,本文將通過一個(gè)具體的例子,詳細(xì)講解如何使用 Python 實(shí)現(xiàn)密碼與驗(yàn)證碼的 MD5 加密
2025-02-02
Python開發(fā)桌面小程序功能
這篇文章主要介紹了Python開發(fā)一個(gè)桌面小程序功能,開發(fā)環(huán)境界面設(shè)置，功能介紹結(jié)合示例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下
2022-04-04
在Python中字符串、列表、元組、字典之間的相互轉(zhuǎn)換
這篇文章主要介紹了在Python中字符串、列表、元組、字典之間的相互轉(zhuǎn)換，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2019-11-11
深度學(xué)習(xí)環(huán)境搭建anaconda+pycharm+pytorch的方法步驟
本文主要介紹了深度學(xué)習(xí)環(huán)境搭建anaconda+pycharm+pytorch的方法步驟，文中通過示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2021-09-09
使用python實(shí)現(xiàn)CGI環(huán)境搭建過程解析
這篇文章主要介紹了使用python實(shí)現(xiàn)CGI環(huán)境搭建過程解析,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
2020-04-04
Python+Selenium實(shí)現(xiàn)在Geoserver批量發(fā)布Mongo矢量數(shù)據(jù)
這篇文章主要為大家詳細(xì)介紹了如何利用Python+Selenium實(shí)現(xiàn)在 Geoserver批量發(fā)布來自Mongo中的矢量數(shù)據(jù)，文中的示例代碼講解詳細(xì)，感興趣的小伙伴可以了解一下
2022-07-07
python繪制漢諾塔
這篇文章主要為大家詳細(xì)介紹了python繪制漢諾塔，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2021-03-03
python binascii 進(jìn)制轉(zhuǎn)換實(shí)例
今天小編就為大家分享一篇python binascii 進(jìn)制轉(zhuǎn)換實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
2019-06-06
Windows安裝pycocotools的問題報(bào)錯(cuò)解決
最近使用pip install安裝pycocotools出現(xiàn)錯(cuò)誤,本文主要介紹了Windows安裝pycocotools的問題報(bào)錯(cuò)解決,具有一定的參考價(jià)值,感興趣的可以了解一下
2024-06-06
解決python3 json數(shù)據(jù)包含中文的讀寫問題
今天小編就為大家分享一篇解決python3 json數(shù)據(jù)包含中文的讀寫問題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
2018-05-05