python 刪除大文件中的某一行(最有效率的方法)
用 python 處理一個(gè)文本時(shí)，想要?jiǎng)h除其中中某一行，常規(guī)的思路是先把文件讀入內(nèi)存，在內(nèi)存中修改后再寫(xiě)入源文件。
但如果要處理一個(gè)很大的文本，比如GB級(jí)別的文本時(shí)，這種方法不僅需要占用很大內(nèi)存，而且一次性讀入內(nèi)存時(shí)耗費(fèi)時(shí)間，還有可能導(dǎo)致內(nèi)存溢出。
所以，需要用另外一個(gè)思路去處理。
我們可以使用 open() 方法把需要修改的文件打開(kāi)為兩個(gè)文件，然后逐行讀入內(nèi)存，找到需要?jiǎng)h除的行時(shí)，用后面的行逐一覆蓋。實(shí)現(xiàn)方式見(jiàn)以下代碼。
with open('file.txt', 'r') as old_file:
with open('file.txt', 'r+') as new_file:
current_line = 0
# 定位到需要?jiǎng)h除的行
while current_line < (del_line - 1):
old_file.readline()
current_line += 1
# 當(dāng)前光標(biāo)在被刪除行的行首，記錄該位置
seek_point = old_file.tell()
# 設(shè)置光標(biāo)位置
new_file.seek(seek_point, 0)
# 讀需要?jiǎng)h除的行，光標(biāo)移到下一行行首
old_file.readline()
# 被刪除行的下一行讀給 next_line
next_line = old_file.readline()
# 連續(xù)覆蓋剩余行，后面所有行上移一行
while next_line:
new_file.write(next_line)
next_line = old_file.readline()
# 寫(xiě)完最后一行后截?cái)辔募?，因?yàn)閯h除操作，文件整體少了一行，原文件最后一行需要去掉
new_file.truncate()
以上這篇python 刪除大文件里的某一行(最有效率的方法)就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
Python編程functools模塊創(chuàng)建修改的高階函數(shù)解析
本篇文章主要為大家介紹functools模塊中用于創(chuàng)建、修改函數(shù)的高階函數(shù)，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2021-09-09
PyQt5 QSerialPort子線程操作的實(shí)現(xiàn)
這篇文章主要介紹了PyQt5 QSerialPort子線程操作的實(shí)現(xiàn)，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2018-04-04
對(duì)python:print打印時(shí)加u的含義詳解
今天小編就為大家分享一篇對(duì)python:print打印時(shí)加u的含義詳解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-12-12
關(guān)于Matplotlib繪制動(dòng)態(tài)實(shí)時(shí)曲線的方法改進(jìn)指南
這篇文章主要給大家介紹了關(guān)于Matplotlib繪制動(dòng)態(tài)實(shí)時(shí)曲線的相關(guān)資料,matplotlib是python里最popular的畫(huà)圖工具,文中通過(guò)實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下2021-06-06
tensorflow如何將one_hot標(biāo)簽和數(shù)字(整數(shù))標(biāo)簽進(jìn)行相互轉(zhuǎn)化
這篇文章主要介紹了tensorflow如何將one_hot標(biāo)簽和數(shù)字(整數(shù))標(biāo)簽進(jìn)行相互轉(zhuǎn)化問(wèn)題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2023-06-06
Numpy中扁平化函數(shù)ravel()和flatten()的區(qū)別詳解
本文主要介紹了Numpy中扁平化函數(shù)ravel()和flatten()的區(qū)別詳解，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-02-02
Opencv常見(jiàn)圖像格式Data Type及代碼實(shí)例
這篇文章主要介紹了Opencv常見(jiàn)圖像格式Data Type及代碼實(shí)例,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-11-11
Matplotlib的可以把很多張圖畫(huà)到一個(gè)顯示界面，在作對(duì)比分析的時(shí)候非常有用。本文就介紹了幾種方法，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2021-05-05
這篇文章主要帶大家深入探討裝飾器的應(yīng)用，包括計(jì)時(shí)器裝飾器和緩存裝飾器等的實(shí)現(xiàn),文中的示例代碼講解詳細(xì)，需要的小伙伴可以參考下2023-05-05
13個(gè)最常用的Python深度學(xué)習(xí)庫(kù)介紹
這篇文章主要介紹了13個(gè)最常用的Python深度學(xué)習(xí)庫(kù)介紹，具有一定參考價(jià)值，需要的朋友可以參考下。2017-10-10