對pandas寫入讀取h5文件的方法詳解
更新時間：2018年12月28日 10:45:02 作者：hzau_yang
今天小編就為大家分享一篇對pandas寫入讀取h5文件的方法詳解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
1、引言
通過參考相關(guān)博客對hdf5格式簡要介紹。
hdf5在存儲的是支持壓縮，使用的方式是blosc，這個是速度最快的也是pandas默認支持的。 使用壓縮可以提磁盤利用率，節(jié)省空間。 開啟壓縮也沒有什么劣勢，只會慢一點點。 壓縮在小數(shù)據(jù)量的時候優(yōu)勢不明顯，數(shù)據(jù)量大了才有優(yōu)勢。 同時發(fā)現(xiàn)hdf讀取文件的時候只能是一次寫，寫的時候可以append，可以put，但是寫完成了之后關(guān)閉文件，就不能再寫了， 會覆蓋。
另外，為什么單獨說pandas，主要因為本人目前對于h5py這個包的理解不是很深入，不知道如果使用該包存pd.DataFrame格式的文件，不像numpy格式文件可以直接存儲，因此本人只能依賴pandas自帶一些函數(shù)進行處理。
2、寫入文件
使用函數(shù)：pd.HDFStore
import numpy as np
import pandas as pd
####生成9000,0000條數(shù)據(jù)，9千萬條
a = np.random.standard_normal((90000000,4))
b = pd.DataFrame(a)
####普通格式存儲：
h5 = pd.HDFStore('/data/stock/test_s.h5','w')
h5['data'] = b
h5.close()
####壓縮格式存儲
h5 = pd.HDFStore('/data/stock/test_c4.h5','w', complevel=4, complib='blosc')
h5['data'] = b
h5.close()
3、讀取文件
使用函數(shù)：pd.read_hdf
參數(shù)：文件名，key
data=pd.read_hdf('/data/stock/test_c4.h5',key='data')
以上這篇對pandas寫入讀取h5文件的方法詳解就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
Python多線程threading創(chuàng)建及使用方法解析
這篇文章主要介紹了Python多線程threading創(chuàng)建及使用方法解析,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-06-06
Python內(nèi)置函數(shù)memoryview()的實現(xiàn)示例
本文主要介紹了Python內(nèi)置函數(shù)memoryview()的實現(xiàn)示例,它允許你在不復制其內(nèi)容的情況下操作同一個數(shù)組的不同切片,具有一定的參考價值,感興趣的可以了解一下2024-05-05
在Windows操作系統(tǒng)下安裝Python3和OpenCV庫后,通過安裝并配置PyCharm開發(fā)環(huán)境,可以直接顯示并調(diào)用已安裝的包,例如使用cv2庫的接口進行編程和項目開發(fā),文中通過圖文介紹的非常詳細,需要的朋友可以參考下2024-10-10
這篇文章主要為大家詳細介紹了python logging模塊書寫日志的方法，并對日志進行分割，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-07-07
Python 數(shù)據(jù)可視化之Matplotlib詳解
這篇文章主要介紹了Python數(shù)據(jù)可視化庫seaborn的使用總結(jié)，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2021-11-11
python實現(xiàn)文件+參數(shù)發(fā)送request的實例代碼
這篇文章主要介紹了python實現(xiàn)文件+參數(shù)發(fā)送request的實例代碼,本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2021-01-01
這篇文章主要介紹了python 類方法/靜態(tài)方法的相關(guān)資料，幫助大家更好的理解和學習python，感興趣的朋友可以了解下2020-09-09
這篇文章主要介紹了python如何利用turtle繪制正方形，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-07-07
在使用 Python 開發(fā)時,建議在開發(fā)環(huán)境和生產(chǎn)環(huán)境下都使用虛擬環(huán)境來管理項目的依賴,下面這篇文章主要給大家介紹了關(guān)于Python安裝及建立虛擬環(huán)境的相關(guān)資料,文中通過實例代碼介紹的非常詳細,需要的朋友可以參考下2022-06-06
Python 實現(xiàn)輸入任意多個數(shù),并計算其平均值的例子
今天小編就為大家分享一篇Python 實現(xiàn)輸入任意多個數(shù),并計算其平均值的例子，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-07-07