如何用pandas讀取一個文件或某個文件夾下所有文件
更新時間：2024年02月01日 10:25:23 作者：旺仔的算法coding筆記
這篇文章主要介紹了如何用pandas讀取一個文件或某個文件夾下所有文件問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
pandas讀取一個文件或某個文件夾下所有文件
讀取一個文件
直接用文件路徑。
如果是讀取某個文件夾下的所有文件，注意用os.path，逐個讀取文件，把新讀取到的Dataframe進行concate操作到總的Dataframe中去。
詳細請見代碼。
character_list =['1010011_i_u_prov', '9010081_i_b_location']
#這是讀取一個文件的，
# data=pd.read_csv('../data/10line_of_part-00000',sep='\t',header=None)
# 如果讀取所有文件呢？如下
file_dir="../data/dt=20200807"
all_file_list=os.listdir(file_dir)
for single_file in all_file_list:
# 逐個讀取
single_data_frame=pd.read_csv(
os.path.join(file_dir,single_file),sep='\t',header=None)
if single_file ==all_file_list[0]:
all_data_frame=single_data_frame
else: #進行concat操作
all_data_frame=pd.concat([all_data_frame,
single_data_frame],ignore_index=True)
# data.columns=character_list，給dataframe的屬性重新命名。
all_data_frame.columns=character_list備注：
data數(shù)據(jù)是從sql中select出來的結果。
注意：
分隔符要用\t，不然會報錯！
pandas讀取多個文件并合并到一起
先把文件位置放到一起，讀取文件，再concat。
subdir=‘store'
file_names = []#存文件名
file_names.append(test1.csv')#繼續(xù)添加文件名
csv_paths = []#存文件位置
for file_name in file_names:
csv_path = join( '..','csv', subdir, file_name)#文件位置
csv_paths.append(csv_path)
break
df_csvs = []
for csv_path in csv_paths:
df_tmp = pd.read_csv('%s' % csv_path, low_memory=False)
df_csvs.append(df_tmp)
df_total = pd.concat(df_csvs)#合并成一個dataframe#小技巧 非必須
#如列名為a.uid想改為uid 用以下方法操作 df_total.columns = [s[2:] for s in df_total.columns] df_total.shape
總結
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
緩存是指可以進行高速數(shù)據(jù)交換的存儲器，它先于內存與CPU交換數(shù)據(jù)，因此速度很快。緩存就是把一些數(shù)據(jù)暫時存放于某些地方，可能是內存，也有可能硬盤。下面給大家介紹Python實現(xiàn)以時間換空間的緩存替換算法，需要的朋友參考下2016-02-02
tensorflow實現(xiàn)簡單的卷積網(wǎng)絡
這篇文章主要為大家詳細介紹了tensorflow實現(xiàn)簡單的卷積網(wǎng)絡，使用的數(shù)據(jù)集是MNIST，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-05-05
這篇文章主要介紹了學生如何免費使用Pycharm專業(yè)版，學生認證教程，有了這個教程在校期間就可以免費使用Pycharm,簡直是學生黨的福音,快來一起看看吧2023-03-03
這篇文章主要介紹了python中很常用的單元測試框架unitest的相關資料，幫助大家更好的利用python進行單元測試，感興趣的朋友可以了解下2020-12-12
關于numpy.polyfit()與Stats.linregress()方法最小二乘近似擬合斜率對比
這篇文章主要介紹了關于numpy.polyfit()與Stats.linregress()方法最小二乘近似擬合斜率對比,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-04-04
Tensorflow 實現(xiàn)分批量讀取數(shù)據(jù)
今天小編就為大家分享一篇Tensorflow 實現(xiàn)分批量讀取數(shù)據(jù)，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-01-01
Pdb就是Python debugger，是python自帶的調試器。這篇文章主要介紹了Python使用pdb調試代碼的技巧,需要的朋友可以參考下2020-05-05
Python數(shù)據(jù)處理之輕松實現(xiàn)顏色與數(shù)字的映射
這篇文章主要為大家詳細介紹了Python數(shù)據(jù)處理中如何輕松實現(xiàn)顏色與數(shù)字的映射,文中的示例代碼講解詳細,感興趣的小伙伴可以跟隨小編一起學習一下2026-05-05
很多時候,使用python進行數(shù)據(jù)分析的第一步就是讀取excel文件,下面這篇文章主要給大家介紹了關于如何用python獲取EXCEL文件內容并保存到DBC的相關資料,需要的朋友可以參考2023-12-12
Folium是建立在Python生態(tài)系統(tǒng)的數(shù)據(jù)整理（Datawrangling）能力和Leaflet.js庫的映射能力之上的開源庫。這篇文章主要給大家介紹了關于如何Python利用folium實現(xiàn)地圖可視化的相關資料,需要的朋友可以參考下2021-05-05