快捷導(dǎo)航

用Python讀取幾十萬(wàn)行文本數(shù)據(jù)

更新時(shí)間：2018年12月24日 11:21:15 作者：accumulate_zhang

今天小編就為大家分享一篇關(guān)于用Python讀取幾十萬(wàn)行文本數(shù)據(jù)，小編覺得內(nèi)容挺不錯(cuò)的，現(xiàn)在分享給大家，具有很好的參考價(jià)值，需要的朋友一起跟隨小編來(lái)看看吧

我在使用python讀取幾十萬(wàn)行的文件中的數(shù)據(jù)，并構(gòu)造字典，列表等數(shù)據(jù)結(jié)構(gòu)時(shí)，再訪問(wèn)字典，列表時(shí)，一般都會(huì)出現(xiàn)內(nèi)存不夠的問(wèn)題，然后只能循環(huán)讀取幾百行或者一定數(shù)量的行數(shù)來(lái)循環(huán)操作。

keyword_list=[line.strip() for line in open("keywords.txt",'r')]
#f1=open("part_wiki_vec.txt",'r')
f1=open("wiki_vectors.txt")
f2=open("result.txt",'w')
i=0
content=f1.readlines()
while i<1150:
 for line in content[300*i:300*(i+1)]:
  line=line.strip().split(' ')
  if line[0] in keyword_list:
   wordvec=' '.join(line)
   print wordvec
   f2.write(wordvec)
  #print line
 i+=1

我是這樣讀取的

應(yīng)該還有很多好的方法，比如多線程等等。

做此記錄只為了學(xué)習(xí)

總結(jié)

以上就是這篇文章的全部?jī)?nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，謝謝大家對(duì)腳本之家的支持。如果你想了解更多相關(guān)內(nèi)容請(qǐng)查看下面相關(guān)鏈接

您可能感興趣的文章:

相關(guān)文章

使用python3.0?對(duì)接美團(tuán)接口的實(shí)現(xiàn)示例
本文主要介紹了python3.0?對(duì)接美團(tuán)接口的實(shí)現(xiàn)示例，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
2022-05-05
Numpy掩碼式數(shù)組詳解
下面小編就為大家分享一篇Numpy掩碼式數(shù)組詳解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
2018-04-04
老生常談python之鴨子類和多態(tài)
下面小編就為大家?guī)?lái)一篇老生常談python之鴨子類和多態(tài)。小編覺得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧
2017-06-06
Python圖片縮放cv2.resize()圖文詳解
這篇文章主要給大家介紹了關(guān)于Python圖片縮放cv2.resize()的相關(guān)資料, resize是opencv庫(kù)中的一個(gè)函數(shù),主要起到對(duì)圖片進(jìn)行縮放的作用,文中通過(guò)代碼介紹的非常詳細(xì),需要的朋友可以參考下
2023-10-10
python實(shí)現(xiàn)獲取電腦所連接的wifi密碼
電腦連接wifi后,很難直觀地看到當(dāng)前連接wifi的密碼,需要借助命令行公管局才可以查看到相關(guān)信息,本文為大家介紹一下如何利用python獲取電腦所連接的wifi密碼,感興趣的可以了解下
2023-11-11
Python中類的mro與繼承關(guān)系詳解
這篇文章主要介紹了Python中類的mro與繼承關(guān)系，文章圍繞主題展開初步認(rèn)識(shí)mro的解析順序，具有一定的參考價(jià)值。需要的朋友可以參考一下
2022-07-07
python函數(shù)超時(shí)自動(dòng)退出的實(shí)操方法
在本篇文章里小編給大家整理的是一篇關(guān)于python函數(shù)超時(shí)自動(dòng)退出的實(shí)操方法，有需要的朋友們可以學(xué)習(xí)下。
2020-12-12
pandas求兩個(gè)表格不相交的集合方法
今天小編就為大家分享一篇pandas求兩個(gè)表格不相交的集合方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
2018-12-12
Python實(shí)現(xiàn)封裝打包自己寫的代碼,被python import
這篇文章主要介紹了Python實(shí)現(xiàn)封裝打包自己寫的代碼,被python import，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
2020-07-07
pyTorch深度學(xué)習(xí)softmax實(shí)現(xiàn)解析
這篇文章主要介紹了pytorch深度學(xué)習(xí)中對(duì)softmax實(shí)現(xiàn)進(jìn)行了詳細(xì)解析，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步
2021-09-09