Dataloader與DataSet數(shù)據(jù)讀取方法

DataLoader與DataSet是PyTorch數(shù)據(jù)讀取的核心。

“torch.utils.DataLoader”的作用是構(gòu)建一個可迭代的數(shù)據(jù)裝載器，每次執(zhí)行循環(huán)的時候，就從中讀取一批Batchsize大小的樣本進行訓練。

其主要參數(shù)有五項：

1. dataset：隸屬DataSet類，表示數(shù)據(jù)從哪里讀取以及如何讀取
2. batchsize：批大小
3. num_works：是否多進程讀取數(shù)據(jù)
4. shuffle：每個epoch是否亂序
5. drop_last：當樣本數(shù)不能被batchsize整除時，是否舍棄最后一批數(shù)據(jù)

上述主要參數(shù)中num_works通常在單進程時默認為“0”，也可以在支持多進程的設(shè)備上設(shè)置為允許的“4 | 8 | 16”等。

shuffle則通常設(shè)置為使用亂序（True），以使得每次數(shù)據(jù)讀取具有隨機性。

這里頗為重要的是“Epoch、Iteration和Batchsize”之間的關(guān)系：

1）Epoch表示所有訓練樣本都已輸入到模型中，記為一個Epoch；

2）Iteration表示一批樣本輸入到模型中，記為一個Iteration；

3）Batchsize表示批大小，決定一個Epoch中有多少個Iteration。當樣本數(shù)可以被Batchsize整除時，三者成立關(guān)系，即全體樣本分成Batchsize分批次輸入模型，每批次記為一次Iteration。

若樣本總數(shù)80個，當Batchsize=8時，可以知道“1 Epoch = 10 Iteration”。

若樣本總數(shù)87個，當Batchsize-8時，可以知道：1）若“drop_last=True”，則“1 Epoch = 10 Iteration”；2）

若“drop_last=False”，則“1 Epoch = 11 Iteration”，其最后一個Iteration時樣本個數(shù)為7，小于既定Batchsize。

“torch.utils.data.Dataset”主要用于定義數(shù)據(jù)從哪里讀取以及如何讀取的問題。其定義為DataSet抽象類，所有自定義的Dataset都需要繼承它，并復(fù)寫“getitem()”內(nèi)構(gòu)函數(shù)，該函數(shù)接受一個索引，并返回一個樣本。

DataLoader與DataSet數(shù)據(jù)讀取機制

PyTorch的數(shù)據(jù)讀取機制通常圍繞三個核心問題展開，即：

讀取哪些數(shù)據(jù)？從哪里讀取數(shù)據(jù)？怎么讀取數(shù)據(jù)？

事實上，通過在PyCharm中進行代碼調(diào)試，我們可以簡要回答上述問題：

1）通過Sampler取樣器按序或隨機挑選出Batchsize數(shù)量的索引列表；

2）使用DataSet中的data_dir指定硬盤上的數(shù)據(jù)訪問路徑；

3）使用DataSet中自定義的getitem()方法，基于Sampler返回的索引列表讀取相應(yīng)數(shù)據(jù)和標簽，并拼接成新的列表數(shù)據(jù)。

事實上，PyTorch的數(shù)據(jù)讀取經(jīng)過了諸多函數(shù)的跳轉(zhuǎn)。在for循環(huán)中首先調(diào)用了“DataLoader”，進而使用Sampler、Dataset和getitem解決“數(shù)據(jù)讀哪些？從哪讀？怎么讀？”的問題。

最后，我們提供一份PyTorch中DataLoader數(shù)據(jù)讀取機制的函數(shù)跳轉(zhuǎn)流程圖，供大家參考學習。

到此這篇關(guān)于淺談PyTorch的數(shù)據(jù)讀取機制Dataloader與Dataset的文章就介紹到這了,更多相關(guān)PyTorch的Dataloader與Dataset內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評論