Pandas數(shù)據(jù)集的分塊讀取的實(shí)現(xiàn)
所謂“分塊”，顧名思義，就是將數(shù)據(jù)集分成幾塊進(jìn)行讀取，比如有105條數(shù)據(jù)，一次讀取10條，讀取11次才能全部讀完。以下提供兩種分塊讀取的方法，兩種方法各有優(yōu)劣。
一、直接用分塊方式讀取數(shù)據(jù)集文件（更直接）
分塊讀取數(shù)據(jù)集文件是指用read_xxx()方法讀取存儲數(shù)據(jù)的文件時(shí)采用分塊的方式，這里以.csv文件為例，在read_csv()中加入chunksize參數(shù)即可實(shí)現(xiàn)分塊讀?。?/p>
reader = pd.read_csv('某招聘網(wǎng)站數(shù)據(jù).csv', usecols = ['positionId', 'companyId', 'positionName', 'skillLables'],
chunksize=10)此時(shí)，返回的reader不是DataFrame，而是一個(gè)可迭代對象（iteration），需要注意的是，這個(gè)可迭代對象不能用下標(biāo)訪問。 下面遍歷這個(gè)對象：
for r in reader:
print(r)遍歷結(jié)果如下圖所示：
這種分塊讀取方式比較直接，但是由于一開始就定義了分塊大小，后續(xù)處理起來不夠靈活。因此提供了第二種讀取方法。
二、先將數(shù)據(jù)集讀取為可迭代對象，再分塊讀?。ǜ`活）
這種方法將數(shù)據(jù)集文件讀取為時(shí)可迭代對象不定義分塊，用分塊的方式讀取read_csv()方法返回的可迭代對象。實(shí)現(xiàn)第一步要在read_csv()方法中指定參數(shù)iterator為True：
reader = pd.read_csv('某招聘網(wǎng)站數(shù)據(jù).csv', usecols = ['positionId', 'companyId', 'positionName'],
iterator=True)以下是用分塊方式遍歷reader，注意使用到的get_chunk()方法和里面的參數(shù)，參數(shù)定義分塊大小，可以靈活調(diào)節(jié)：
while True:
try:
print(reader.get_chunk(10))
except StopIteration:
break總結(jié)
綜上所述，兩種方法都能用pandas實(shí)現(xiàn)數(shù)據(jù)的分塊讀取，對于數(shù)據(jù)量較大的數(shù)據(jù)集還是比較實(shí)用的。兩種方法的優(yōu)劣體現(xiàn)在直接性和靈活性上，可以根據(jù)實(shí)際需求自行選擇。
到此這篇關(guān)于Pandas數(shù)據(jù)集的分塊讀取的實(shí)現(xiàn)的文章就介紹到這了,更多相關(guān)Pandas數(shù)據(jù)集分塊讀取內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
這篇文章主要介紹了Python檢驗(yàn)用戶輸入密碼的復(fù)雜度,在用戶設(shè)置密碼的時(shí)候檢測輸入的密碼大小寫數(shù)字等,需要的朋友可以參考下2023-04-04
python numpy之np.random的隨機(jī)數(shù)函數(shù)使用介紹
這篇文章主要介紹了python numpy之np.random的隨機(jī)數(shù)函數(shù)使用介紹,需要的朋友可以參考下2019-10-10
這篇文章主要介紹了vue+element-ui動態(tài)加載本地圖片方式,具有很好的參考價(jià)值,希望對大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-09-09
這篇文章主要介紹了如何在django中實(shí)現(xiàn)分頁功能,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-04-04
YAML是可讀性高，用來表達(dá)數(shù)據(jù)序列化格式的，專用于寫配置文件的語言，這篇文章主要介紹了Python使用yaml模塊操作YAML文檔,需要的朋友可以參考下2023-01-01
這篇文章主要介紹了python異常處理、自定義異常、斷言,結(jié)合實(shí)例形式分析了python異常處理、自定義異常、斷言相關(guān)概念、原理、用法及操作注意事項(xiàng),需要的朋友可以參考下2020-03-03
用Python做個(gè)自動化彈鋼琴腳本實(shí)現(xiàn)天空之城彈奏
突然靈機(jī)一動，能不能用Python自動化腳本彈奏一曲美妙的鋼琴曲呢？今天就一起帶大家如何用Python實(shí)現(xiàn)自動化彈出一首《天空之城》有需要的朋友可以借鑒參考下2021-09-09
Python?FastApi結(jié)合異步執(zhí)行方式
這篇文章主要介紹了Python?FastApi結(jié)合異步執(zhí)行方式,具有很好的參考價(jià)值,希望對大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-06-06
Python程序?qū)崿F(xiàn)向MySQL存放圖片
這篇文章主要介紹了Python程序?qū)崿F(xiàn)向MySQL存放圖片，具有很好的參考價(jià)值，希望對大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2023-03-03
python查詢文件夾下excel的sheet名代碼實(shí)例
這篇文章主要介紹了python查詢文件夾下excel的sheet名方法，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-04-04