如何使用pandas對超大csv文件進行快速拆分詳解
更新時間：2022年07月04日 16:35:27 作者：coder1479
Pandas是Python語言的一個擴展程序庫,提供高性能、易于使用的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)分析工具,下面這篇文章主要給大家介紹了關于如何使用pandas對超大csv文件進行快速拆分的相關資料,需要的朋友可以參考下
前言
本文介紹如何利用pandas對超大CSV文件進行快速拆分。
1. 操作步驟
1.1 安裝pandas
pip install pandas
1.2 拆分大文件
import pandas as pd
# 讀取csv文件
df = pd.read_csv("../super_big.csv")
# 獲取文件總行數(shù)
row_num = len(df)
# 確定每個小文件要包含的數(shù)據(jù)量
step = 400
for start in range(0, row_num, step):
stop = start + step
filename = "./small_{}-{}.csv".format(start, stop)
d = df[start: stop]
print("Saving file : " + filename + ", data size : " + str(len(d)))
d.to_csv(fname, index=None)
# 輸出如下
# Saving file : ./small_0-500.csv, data size : 500
# Saving file : ./small_500-1000.csv, data size : 500
代碼就這么簡單。
2. 再多了解一點兒
2.1 pandas讀取csv文件后，返回的是什么類型？
import pandas
df = pandas.read_csv('./super_big.csv')
type(df)
<class 'pandas.core.frame.DataFrame'>
2.2 如何從DataFrame中讀取某一行呢？
# 返回第一行 print(df.loc[0]) # 返回第二行 print(df.loc[1])
2.3 如何從DataFrame讀取多行呢?
d = df[start: stop]
2.4 如何從DataFrame中讀取某一列呢？
data = {
"name": ["peter", "rose", "joe"],
"career": ["teacher", "engineer", "doctor"]
}
df = pd.DataFrame(data)
print(df["name"])
#0 peter
#1 rose
#2 joe
#Name: name, dtype: object2.5 如何用pandas讀寫CSV文件？
df = pd.read_csv("YOUT_CSV_FILE.csv")
df.to_csv(fname, index=None)
注意：index默認是True，意思是保存行索引，這時候需要一個例子。
data = {
"name": ["peter", "rose", "joe"],
"career": ["teacher", "engineer", "doctor"]
}
df = pd.DataFrame(data)
df.to_csv("a.csv")
# 文件內(nèi)容如下，注意每行的開頭自動添加了行索引，從0開始遞增
,name,career
0,peter,teacher
1,rose,engineer
2,joe,doctor
2.6 關于pandas
pandas是一款快速、強大、靈活且易于使用的開源數(shù)據(jù)分析和操作工具，建立在Python編程語言之上。用了都說好。
3. 小結(jié)
其實pandas處理csv文件的方法還有很多，功能非常強大，僅僅是數(shù)據(jù)切分，就有很多方法，有需要的時候，可以去看看文檔。
到此這篇關于如何使用pandas對超大csv文件進行快速拆分的文章就介紹到這了,更多相關pandas拆分csv文件內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
今天下午想要復現(xiàn)一下學長的recursion file，想模仿源碼里的精髓：迭代器遇到了bug，花了一兩個小時才解決?，F(xiàn)總結(jié)如下，有需要的朋友也可借鑒參考下2021-09-09
本篇文章使用OpenCV-Python和CnOcr來實現(xiàn)身份證信息識別的案例,本篇文章使用的Python版本為3.6，OpenCV-Python版本為3.4.1.15，如果是4.x版本的同學，可能會有一些Api操作不同,下面跟隨小編看下OpenCV?Python身份證信息識別過程2022-04-04
這篇文章主要為大家詳細介紹了python實現(xiàn)停車管理系統(tǒng)，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-11-11
這篇文章主要介紹了python版本的仿windows計劃任務工具,計劃任務工具根據(jù)自己設定的具體時間，頻率，命令等屬性來規(guī)定所要執(zhí)行的計劃,當然功能不是很全大家可以補充2018-04-04
這篇文章主要介紹了Python實現(xiàn)控制臺輸入密碼的方法,實例對比分析了幾種輸入密碼的方法,具有一定參考借鑒價值,需要的朋友可以參考下2015-05-05
這篇文章主要介紹了Python中的迭代器、生成器與列表解析用法,還對Python3.x版本中的一些改變作出了提示,需要的朋友可以參考下2016-03-03
python使用paramiko實現(xiàn)遠程拷貝文件的方法
這篇文章主要介紹了python使用paramiko實現(xiàn)遠程拷貝文件的方法,分析了paramiko庫的安裝以及遠程下載文件的實現(xiàn)技巧,需要的朋友可以參考下2016-04-04
使用python實現(xiàn)一個簡單ping?pong服務器
這篇文章主要為大家介紹了使用python實現(xiàn)一個簡單ping?pong服務器，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2023-04-04
python爬蟲之urllib,偽裝,超時設置,異常處理的方法
今天小編就為大家分享一篇python爬蟲之urllib,偽裝,超時設置,異常處理的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-12-12
今天小編就為大家分享一篇python將鄰接矩陣輸出成圖的實現(xiàn)，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-11-11