pytorch sampler對數(shù)據(jù)進(jìn)行采樣的實現(xiàn)
PyTorch中還單獨提供了一個sampler模塊，用來對數(shù)據(jù)進(jìn)行采樣。常用的有隨機(jī)采樣器：RandomSampler，當(dāng)dataloader的shuffle參數(shù)為True時，系統(tǒng)會自動調(diào)用這個采樣器，實現(xiàn)打亂數(shù)據(jù)。默認(rèn)的是采用SequentialSampler，它會按順序一個一個進(jìn)行采樣。這里介紹另外一個很有用的采樣方法： WeightedRandomSampler，它會根據(jù)每個樣本的權(quán)重選取數(shù)據(jù)，在樣本比例不均衡的問題中，可用它來進(jìn)行重采樣。
構(gòu)建WeightedRandomSampler時需提供兩個參數(shù)：每個樣本的權(quán)重weights、共選取的樣本總數(shù)num_samples，以及一個可選參數(shù)replacement。權(quán)重越大的樣本被選中的概率越大，待選取的樣本數(shù)目一般小于全部的樣本數(shù)目。replacement用于指定是否可以重復(fù)選取某一個樣本，默認(rèn)為True，即允許在一個epoch中重復(fù)采樣某一個數(shù)據(jù)。如果設(shè)為False，則當(dāng)某一類的樣本被全部選取完，但其樣本數(shù)目仍未達(dá)到num_samples時，sampler將不會再從該類中選擇數(shù)據(jù)，此時可能導(dǎo)致weights參數(shù)失效。
下面舉例說明。
from dataSet import *
dataset = DogCat('data/dogcat/', transform=transform)
from torch.utils.data import DataLoader
# 狗的圖片被取出的概率是貓的概率的兩倍
# 兩類圖片被取出的概率與weights的絕對大小無關(guān)，只和比值有關(guān)
weights = [2 if label == 1 else 1 for data, label in dataset]
print(weights)
from torch.utils.data.sampler import WeightedRandomSampler
sampler = WeightedRandomSampler(weights,\
num_samples=9,\
replacement=True)
dataloader = DataLoader(dataset,
batch_size=3,
sampler=sampler)
for datas, labels in dataloader:
print(labels.tolist())
輸出：
[2, 2, 1, 1, 2, 1, 1, 2] [1, 1, 0] [1, 0, 0] [0, 0, 1]
github 地址：
https://github.com/WebLearning17/CommonTool
以上這篇pytorch sampler對數(shù)據(jù)進(jìn)行采樣的實現(xiàn)就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
Python采集C站熱榜數(shù)據(jù)實戰(zhàn)示例
這篇文章主要為大家介紹了Python采集C站熱榜數(shù)據(jù)實戰(zhàn)示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2023-05-05
利用python、tensorflow、opencv、pyqt5實現(xiàn)人臉實時簽到系統(tǒng)
這篇文章主要介紹了利用python、tensorflow、opencv、pyqt5實現(xiàn)人臉實時簽到系統(tǒng)，本文給大家介紹的非常詳細(xì)，具有一定的參考借鑒價值,需要的朋友可以參考下2019-09-09
Django基礎(chǔ)知識 web框架的本質(zhì)詳解
這篇文章主要介紹了Django基礎(chǔ)知識 web框架的本質(zhì)詳解,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2019-07-07
這篇文章主要介紹了如何安裝并在pycharm使用selenium,本文給大家提到了selenium安裝并導(dǎo)入pycharm的教程，本文通過圖文實例相結(jié)合給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-04-04
使用Python進(jìn)行有效的數(shù)據(jù)脫敏的常用方法
數(shù)據(jù)脫敏（Data Masking）是在數(shù)據(jù)處理和分析過程中,對敏感信息進(jìn)行處理,以保護(hù)個人隱私和企業(yè)機(jī)密的一種技術(shù)手段,數(shù)據(jù)脫敏的目的是不會泄露敏感信息,同時保持?jǐn)?shù)據(jù)的可用性和分析價值,本文給大家介紹了使用Python進(jìn)行有效的數(shù)據(jù)脫敏的常用方法,需要的朋友可以參考下2025-03-03
這篇文章主要介紹了pandas 實現(xiàn)分組后取第N行的操作，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2021-03-03
使用tf.keras.MaxPooling1D出現(xiàn)錯誤問題及解決
這篇文章主要介紹了使用tf.keras.MaxPooling1D出現(xiàn)錯誤問題及解決方案，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-12-12
pandas DataFrame 賦值的注意事項說明(index)
這篇文章主要介紹了pandas DataFrame 賦值的注意事項說明(index)，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2021-04-04
大家好，本篇文章主要講的是基于pygame實現(xiàn)貪吃蛇小游戲示例，感興趣的同學(xué)趕快來看一看吧，對你有幫助的話記得收藏一下，方便下次瀏覽2021-12-12
今天小編就為大家分享一篇Pandas-Cookbook 時間戳處理方式，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-12-12