淺談python寫入大量文件的問(wèn)題
今天準(zhǔn)備把幾個(gè)txt文件合并成一個(gè)文件時(shí)，用f.write方法寫入時(shí)，發(fā)現(xiàn)程序執(zhí)行完了，本應(yīng)該十萬(wàn)行左右的txt記錄，實(shí)際上只被寫入了4k多行。
網(wǎng)上查了是因?yàn)槌绦驁?zhí)行速度太快，以至于讀到內(nèi)容還沒(méi)有完全寫入文件，文件就已經(jīng)關(guān)閉了
方法一：加入緩沖區(qū)
f.flush() //operation os.fsync(output) f.close()
打開文件后執(zhí)行flush(),關(guān)閉文件前執(zhí)行os.fsync()確保緩沖區(qū)的內(nèi)容都寫出去了。
方法二：用sleep
用了上述方法不行，因?yàn)槲以诖蜷_文件后用了迭代輸出，可能會(huì)讓緩沖區(qū)爆炸，在循環(huán)中加入sleep函數(shù)可以確保每次循環(huán)都能將內(nèi)容寫入
with open(outputfile,'a') as output:
for i in all_txt_name:
f =open(dir+'/'+i)
for a in f:
output.write(a)
time.sleep(0.00000001)
f.close()
后來(lái)發(fā)現(xiàn)：
txt文件如果太大，在pycharm中只會(huì)顯示一小部分，可能是指顯示了部分文件導(dǎo)致未以為文件沒(méi)寫進(jìn)去，fuck
以上這篇淺談python寫入大量文件的問(wèn)題就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了Python中的元組與邏輯運(yùn)算符的用法,是Python入門學(xué)習(xí)中的基礎(chǔ)知識(shí),需要的朋友可以參考下2015-10-10
Python中requests模塊的請(qǐng)求參數(shù)詳解
這篇文章主要介紹了Python中requests模塊的請(qǐng)求參數(shù)詳解,requests模塊是一個(gè)網(wǎng)絡(luò)請(qǐng)求模塊，可以幫助我們模擬成客戶端去請(qǐng)求服務(wù)器的數(shù)據(jù),我們今天就是主要針對(duì)這個(gè)模塊進(jìn)行學(xué)習(xí),需要的朋友可以參考下2023-08-08
timeit 模塊是 Python 標(biāo)準(zhǔn)庫(kù)中的模塊，無(wú)需安裝，直接導(dǎo)入就可以使用。這篇文章主要介紹了Python timeit模塊的使用,需要的朋友可以參考下2020-01-01
這篇文章主要介紹了python猜單詞游戲的實(shí)現(xiàn)，從單詞列表中隨機(jī)選取一個(gè)單詞，讓玩家猜測(cè)，文中通過(guò)示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2022-01-01
mac系統(tǒng)下安裝pycharm、永久激活、中文漢化詳細(xì)教程
這篇文章主要介紹了mac系統(tǒng)下安裝pycharm、永久激活、中文漢化詳細(xì)教程,需要的朋友可以參考下2020-11-11
這篇文章主要介紹了如何在Python中對(duì)文件進(jìn)行操作，文章圍繞主題展開內(nèi)容，即使用Python中內(nèi)置的open()函數(shù)來(lái)打開文件，返回文件對(duì)象，并對(duì)文件進(jìn)行處理2022-08-08
python開發(fā)實(shí)時(shí)可視化儀表盤的示例
這篇文章主要介紹了python開發(fā)實(shí)時(shí)可視化儀表盤的示例，幫助大家更好的理解和學(xué)習(xí)使用python，感興趣的朋友可以了解下2021-05-05
Python drop方法刪除列之inplace參數(shù)實(shí)例
這篇文章主要介紹了Python drop方法刪除列之inplace參數(shù)實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-06-06
這篇文章主要介紹了?python?中的?module?和?package?，文章基于Python的相關(guān)資料展開對(duì)主題的詳細(xì)介紹，具有一定的參考價(jià)值，需要的小伙伴可以參考一下2022-04-04
Python pickle模塊實(shí)現(xiàn)對(duì)象序列化
這篇文章主要介紹了Python pickle模塊實(shí)現(xiàn)對(duì)象序列化,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-11-11