對python中大文件的導(dǎo)入與導(dǎo)出方法詳解
1、csv文件的導(dǎo)入和導(dǎo)出
通過一個矩陣導(dǎo)出為csv文件，將csv文件導(dǎo)入為矩陣
將csv文件導(dǎo)入到一個矩陣中
import numpy
my_matrix = numpy.loadtxt(open("c:\\1.csv","rb"),delimiter=",",skiprows=0)
將矩陣導(dǎo)出到本地csv中
numpy.savetxt('new.csv', my_matrix, delimiter = ',')
未完待續(xù)。。。
也可以使用pickle模塊，保存的文件是序列化的
python的pickle模塊實現(xiàn)了基本的數(shù)據(jù)序列和反序列化。通過pickle模塊的序列化操作我們能夠?qū)⒊绦蛑羞\行的對象信息保存到文件中去，永久存儲；通過pickle模塊的反序列化操作，我們能夠從文件中創(chuàng)建上一次程序保存的對象。
pickle.dump(obj, file, [,protocol])
注解：將對象obj保存到文件file中去。
protocol為序列化使用的協(xié)議版本，0：ASCII協(xié)議，所序列化的對象使用可打印的ASCII碼表示；1：老式的二進制協(xié)議；2：2.3版本引入的新二進制協(xié)議，較以前的更高效。其中協(xié)議0和1兼容老版本的python。protocol默認(rèn)值為0。
file：對象保存到的類文件對象。file必須有write()接口， file可以是一個以'w'方式打開的文件或者一個StringIO對象或者其他任何實現(xiàn)write()接口的對象。如果protocol>=1，文件對象需要是二進制模式打開的。
pickle.load(file)
注解：從file中讀取一個字符串，并將它重構(gòu)為原來的python對象。
file：類文件對象，有read()和readline()接口。
保存數(shù)據(jù)
tmpdatapath = "E:\\data\\u_i_matrix.csv" savefp = open(tmpdatapath,"w") pickle.dump(u_i_mat,savefp) savefp.close();
導(dǎo)入數(shù)據(jù)
fp_mat = open("E:\\data\\tmpdata\\u_i_matrix.csv","r")
rMat = pickle.load(fp_mat)
fp_mat.close()
追加：將內(nèi)容通過print輸入到文件中
str=”a string to print to file” f=open(‘out.txt','w') print >>f,str f.close()
以上這篇對python中大文件的導(dǎo)入與導(dǎo)出方法詳解就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
關(guān)于jupyter lab安裝及導(dǎo)入tensorflow找不到模塊的問題
這篇文章主要介紹了關(guān)于jupyter lab安裝及導(dǎo)入tensorflow找不到模塊的問題,本文給大家介紹的非常詳細，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2021-03-03
Python標(biāo)準(zhǔn)庫pathlib操作目錄和文件
這篇文章主要為大家介紹了Python標(biāo)準(zhǔn)庫pathlib操作目錄和文件的示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步2021-11-11
這篇文章主要介紹了Pandas之ReIndex重新索引的實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-06-06
今天小編就為大家分享一篇pycharm通過ssh連接遠程服務(wù)器教程，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-02-02
Python生成器深度解析如何構(gòu)建強大的數(shù)據(jù)處理管道
這篇文章主要為大家介紹了Python生成器深度解析如何構(gòu)建強大的數(shù)據(jù)處理管道，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2023-06-06
水印在很多時候都會使用的到，本文主要介紹了Python批量添加圖片水印的實現(xiàn)，文中通過示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2022-01-01
python多進程及通信實現(xiàn)異步任務(wù)的方法
這篇文章主要介紹了python多進程及通信實現(xiàn)異步任務(wù)需求,本人也是很少接觸多進程的場景，對于python多進程的使用也是比較陌生的。在接觸了一些多進程的業(yè)務(wù)場景下，對python多進程的使用進行了學(xué)習(xí)，覺得很有必要進行一個梳理總結(jié)，感興趣的朋友一起看看吧2022-05-05
darknet框架中YOLOv3對數(shù)據(jù)集進行訓(xùn)練和預(yù)測詳解
這篇文章主要為大家介紹了darknet框架中YOLOv3對數(shù)據(jù)集進行訓(xùn)練和預(yù)測使用詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-11-11
Python實現(xiàn)疫情通定時自動填寫功能(附代碼)
這篇文章主要介紹了Python實現(xiàn)疫情通定時自動填寫功能，本文通過實例代碼給大家介紹的非常詳細，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-05-05
python argparse命令行參數(shù)解析(推薦)
Python argparse模塊是解析命令行參數(shù)的首選方法。解析命令行參數(shù)是一個非常常見的任務(wù)，Python腳本根據(jù)傳遞的值來執(zhí)行和操作2021-06-06