Pytorch如何加載自己的數(shù)據(jù)集(使用DataLoader讀取Dataset)
1.Pytorch加載數(shù)據(jù)集會(huì)用到官方整理好的數(shù)據(jù)集
很多時(shí)候我們需要加載自己的數(shù)據(jù)集,這時(shí)候我們需要使用Dataset和DataLoader
Dataset:是被封裝進(jìn)DataLoader里,實(shí)現(xiàn)該方法封裝自己的數(shù)據(jù)和標(biāo)簽。DataLoader:被封裝入DataLoaderIter里,實(shí)現(xiàn)該方法達(dá)到數(shù)據(jù)的劃分。
2.Dataset
閱讀源碼后,我們可以指導(dǎo),繼承該方法必須實(shí)現(xiàn)兩個(gè)方法:
_getitem_()_len_()
因此,在實(shí)現(xiàn)過(guò)程中我們測(cè)試如下:
import torch
import numpy as np
# 定義GetLoader類,繼承Dataset方法,并重寫__getitem__()和__len__()方法
class GetLoader(torch.utils.data.Dataset):
# 初始化函數(shù),得到數(shù)據(jù)
def __init__(self, data_root, data_label):
self.data = data_root
self.label = data_label
# index是根據(jù)batchsize劃分?jǐn)?shù)據(jù)后得到的索引,最后將data和對(duì)應(yīng)的labels進(jìn)行一起返回
def __getitem__(self, index):
data = self.data[index]
labels = self.label[index]
return data, labels
# 該函數(shù)返回?cái)?shù)據(jù)大小長(zhǎng)度,目的是DataLoader方便劃分,如果不知道大小,DataLoader會(huì)一臉懵逼
def __len__(self):
return len(self.data)
# 隨機(jī)生成數(shù)據(jù),大小為10 * 20列
source_data = np.random.rand(10, 20)
# 隨機(jī)生成標(biāo)簽,大小為10 * 1列
source_label = np.random.randint(0,2,(10, 1))
# 通過(guò)GetLoader將數(shù)據(jù)進(jìn)行加載,返回Dataset對(duì)象,包含data和labels
torch_data = GetLoader(source_data, source_label)
3.DataLoader
提供對(duì)Dataset的操作,操作如下:
torch.utils.data.DataLoader(dataset,batch_size,shuffle,drop_last,num_workers)
參數(shù)含義如下:
dataset:加載torch.utils.data.Dataset對(duì)象數(shù)據(jù)batch_size:每個(gè)batch的大小shuffle:是否對(duì)數(shù)據(jù)進(jìn)行打亂drop_last:是否對(duì)無(wú)法整除的最后一個(gè)datasize進(jìn)行丟棄num_workers:表示加載的時(shí)候子進(jìn)程數(shù)
因此,在實(shí)現(xiàn)過(guò)程中我們測(cè)試如下(緊跟上述用例):
from torch.utils.data import DataLoader # 讀取數(shù)據(jù) datas = DataLoader(torch_data, batch_size=6, shuffle=True, drop_last=False, num_workers=2)
此時(shí),我們的數(shù)據(jù)已經(jīng)加載完畢了,只需要在訓(xùn)練過(guò)程中使用即可。
4.查看數(shù)據(jù)
我們可以通過(guò)迭代器(enumerate)進(jìn)行輸出數(shù)據(jù),測(cè)試如下:
for i, data in enumerate(datas):
# i表示第幾個(gè)batch, data表示該batch對(duì)應(yīng)的數(shù)據(jù),包含data和對(duì)應(yīng)的labels
print("第 {} 個(gè)Batch \n{}".format(i, data))
輸出結(jié)果如下圖:

結(jié)果說(shuō)明:由于數(shù)據(jù)的是10個(gè),batchsize大小為6,且drop_last=False,因此第一個(gè)大小為6,第二個(gè)為4。
每一個(gè)batch中包含data和對(duì)應(yīng)的labels。
當(dāng)我們想取出data和對(duì)應(yīng)的labels時(shí)候,只需要用下表就可以啦,測(cè)試如下:
# 表示輸出數(shù)據(jù) print(data[0]) # 表示輸出標(biāo)簽 print(data[1])
結(jié)果如圖:

5.總結(jié)
以上為個(gè)人經(jīng)驗(yàn),希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
相關(guān)文章
PyTorch中torch.tensor()和torch.to_tensor()的區(qū)別
在Pytorch中Tensor和tensor都用于生成新的張量,但二者并不相同,下面這篇文章主要給大家介紹了關(guān)于PyTorch中torch.tensor()和torch.to_tensor()區(qū)別的相關(guān)資料,需要的朋友可以參考下2023-01-01
Python入門教程(十七)Python的While循環(huán)
這篇文章主要介紹了Python入門教程(十七)Python的While循環(huán),Python是一門非常強(qiáng)大好用的語(yǔ)言,也有著易上手的特性,本文為入門教程,需要的朋友可以參考下2023-04-04
基于python解線性矩陣方程(numpy中的matrix類)
這篇文章主要介紹了基于python解線性矩陣方程(numpy中的matrix類),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-10-10
pandas中DataFrame數(shù)據(jù)合并連接(merge、join、concat)
這篇文章主要給大家介紹了關(guān)于pandas中DataFrame 數(shù)據(jù)合并連接(merge、join、concat)的相關(guān)資料,文中介紹的非常詳細(xì),需要的朋友可以參考下2021-05-05
python算法練習(xí)之兔子產(chǎn)子(斐波那切數(shù)列)
這篇文章主要給大家介紹python算法練習(xí)兔子產(chǎn)子,文章先進(jìn)行問(wèn)題描述及分析然后設(shè)計(jì)算法最后再得出完整程序,需要的朋友可以參考一下 文章得具體內(nèi)容2021-10-10
python神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)利用PyTorch進(jìn)行回歸運(yùn)算
這篇文章主要為大家介紹了python神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)利用PyTorch進(jìn)行回歸運(yùn)算的實(shí)現(xiàn)代碼,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2022-05-05
pytorch中交叉熵?fù)p失函數(shù)的使用小細(xì)節(jié)
這篇文章主要介紹了pytorch中交叉熵?fù)p失函數(shù)的使用細(xì)節(jié),具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-02-02

