Python基于read(size)方法讀取超大文件
更新時(shí)間：2020年03月12日 11:44:11 作者：我太難了008
這篇文章主要介紹了Python基于read(size)方法讀取超大文件,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
pyhon讀取文件很方便,但是,如果文件很大,而且還是一行文件,那就蛋疼了. 不過還好有read(size)方法,這個(gè)方法就是每次讀取size大小的數(shù)據(jù)到內(nèi)存中
下面來個(gè)示例
def readlines(f, separator):
'''
讀取大文件方法
:param f: 文件句柄
:param separator: 每一行的分隔符
:return:
'''
buf = ''
while True:
while separator in buf:
position = buf.index(separator) # 分隔符的位置
yield buf[:position] # 切片, 從開始位置到分隔符位置
buf = buf[position + len(separator):] # 再切片,將yield的數(shù)據(jù)切掉,保留剩下的數(shù)據(jù)
chunk = f.read(4096) # 一次讀取4096的數(shù)據(jù)到buf中
if not chunk: # 如果沒有讀到數(shù)據(jù)
yield buf # 返回buf中的數(shù)據(jù)
break # 結(jié)束
buf += chunk # 如果read有數(shù)據(jù) ,將read到的數(shù)據(jù)加入到buf中
with open('text.txt',encoding='utf-8') as f:
for line in readlines(f,'|||'):
# 為什么readlines函數(shù)能夠使用for循環(huán)遍歷呢, 因?yàn)檫@個(gè)函數(shù)里面有yield關(guān)鍵字呀, 有它就是一個(gè)生成器函數(shù) ......
print(line)
測(cè)試文件text.txt
fgshfsljflsjfls|||fyhdiyfdfhn|||fudofdb欽鐵桿jdlfdl|||tedsthfdskfdk
打印結(jié)果
fgshfsljflsjfls
fyhdiyfdfhn
fudofdb欽鐵桿jdlfdl
tedsthfdskfdk
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要為大家詳細(xì)介紹了pythonx抓取個(gè)性簽名的方法，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-06-06
使用ChatGPT來自動(dòng)化Python任務(wù)
這篇文章主要介紹了使用ChatGPT來自動(dòng)化Python任務(wù)的相關(guān)資料,需要的朋友可以參考下2022-12-12
Python爬取當(dāng)當(dāng)、京東、亞馬遜圖書信息代碼實(shí)例
這篇文章主要介紹了Python爬取當(dāng)當(dāng)、京東、亞馬遜圖書信息代碼實(shí)例，具有一定借鑒價(jià)值，需要的朋友可以參考下。2017-12-12
一文教你用Python中progress庫(kù)實(shí)現(xiàn)進(jìn)度條
這篇文章主要為大家詳細(xì)介紹了如何通過Python中的progress庫(kù)實(shí)現(xiàn)進(jìn)度條的繪制，文中的示例代碼講解詳細(xì)，感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下2023-03-03
今天帶大家學(xué)習(xí)python裝飾器的相關(guān)知識(shí),文中對(duì)Python @property做了非常詳細(xì)的介紹,對(duì)正在學(xué)習(xí)python的小伙伴們很有幫助,需要的朋友可以參考下2021-05-05
我們?cè)诰帉懘a時(shí)總是遇到各種中文亂碼的問題,所以本文就來為大家總結(jié)一下遇到的中文亂碼問題和對(duì)應(yīng)的解決方案,以及為什么會(huì)出現(xiàn)中文亂碼的問題,希望對(duì)大家有所幫助2023-12-12
python如何通過protobuf實(shí)現(xiàn)rpc
這篇文章主要為大家詳細(xì)介紹了python通過protobuf實(shí)現(xiàn)rpc的方法，感興趣的朋友可以參考一下2016-03-03
在本篇文章里小編給大家整理的是一篇關(guān)于python 模塊導(dǎo)入問題匯總內(nèi)容，有需要的朋友們可以學(xué)習(xí)參考下。2021-02-02
Python基于TCP實(shí)現(xiàn)會(huì)聊天的小機(jī)器人功能示例
這篇文章主要介紹了Python基于TCP實(shí)現(xiàn)會(huì)聊天的小機(jī)器人功能,結(jié)合實(shí)例形式分析了Python通過socket模塊實(shí)現(xiàn)TCP連接的客戶端與服務(wù)器端模擬聊天機(jī)器人功能相關(guān)操作技巧,需要的朋友可以參考下2018-04-04
Python用類實(shí)現(xiàn)撲克牌發(fā)牌的示例代碼
這篇文章主要介紹了Python用類實(shí)現(xiàn)撲克牌發(fā)牌的示例代碼，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-06-06