python 高效去重復 支持GB級別大文件的示例代碼
更新時間：2018年11月08日 14:46:05 作者：夜班機器人
今天小編就為大家分享一篇python 高效去重復 支持GB級別大文件的示例代碼，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
如下所示：
#coding=utf-8
import sys, re, os
def getDictList(dict):
regx = '''[\w\~`\!\@\#\$\%\^\&\*\(\)\_\-\+\=\[\]\{\}\:\;\,\.\/\<\>\?]+'''
with open(dict) as f:
data = f.read()
return re.findall(regx, data)
def rmdp(dictList):
return list(set(dictList))
def fileSave(dictRmdp, out):
with open(out, 'a') as f:
for line in dictRmdp:
f.write(line + '\n')
def main():
try:
dict = sys.argv[1].strip()
out = sys.argv[2].strip()
except Exception, e:
print 'error:', e
me = os.path.basename(__file__)
print 'usage: %s <input> <output>' %me
print 'example: %s dict.txt dict_rmdp.txt' %me
exit()
dictList = getDictList(dict)
dictRmdp = rmdp(dictList)
fileSave(dictRmdp, out)
if __name__ == '__main__':
main()
以上這篇python 高效去重復 支持GB級別大文件的示例代碼就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
這篇文章主要介紹了python程序中多任務的相關資料，幫助大家更好的理解和學習python，感興趣的朋友可以了解下2020-09-09
TOML?文件表示（Tom's?Obvious,最小語言）,它的語法主要由鍵=值對組成,本文主要為大家詳細介紹了如何使用Python讀寫TOML文件,感興趣的小伙伴可以了解下2023-08-08
Pandas?Groupby之在Python中匯總、聚合和分組數(shù)據(jù)的示例詳解
GroupBy是一個非常簡單的概念，我們可以創(chuàng)建一個類別分組，并對這些類別應用一個函數(shù)，本文給大家介紹Pandas?Groupby之如何在Python中匯總、聚合和分組數(shù)據(jù)，感興趣的朋友跟隨小編一起看看吧2023-07-07
讀萬卷書不如行萬里路，只學書上的理論是遠遠不夠的，只有在實戰(zhàn)中才能獲得能力的提升，本篇文章手把手帶你用Python做一個身份證信息校驗的小項目,大家可以在過程中查缺補漏，提升水平2021-10-10
這篇文章主要介紹了python好玩的項目—色情圖片識別，具有一定參考價值，需要的朋友可以了解下。2017-11-11
Pytorch統(tǒng)計參數(shù)網(wǎng)絡參數(shù)數(shù)量方式
這篇文章主要介紹了Pytorch統(tǒng)計參數(shù)網(wǎng)絡參數(shù)數(shù)量方式，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2023-02-02
這篇文章主要為大家詳細介紹了python GUI模擬實現(xiàn)計算器，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2020-06-06
Python中的sys.stdout.write實現(xiàn)打印刷新功能
今天小編就為大家分享一篇Python中的sys.stdout.write實現(xiàn)打印刷新功能，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-02-02
從0到1使用python開發(fā)一個半自動答題小程序的實現(xiàn)
這篇文章主要介紹了從0到1使用python開發(fā)一個半自動答題小程序的實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-05-05
python轉換wrf輸出的數(shù)據(jù)為網(wǎng)頁可視化json格式
這篇文章主要介紹了python轉換wrf輸出的數(shù)據(jù)為網(wǎng)頁可視化json格式，文章圍繞主題展開詳細的內容介紹，具有一定的參考價值，需要的小伙伴可以參考一下2022-09-09