Pandas數(shù)據(jù)清洗的實現(xiàn)
在處理數(shù)據(jù)的時候,需要對數(shù)據(jù)進行一個清洗過程。清洗操作包括:空白行的刪除、數(shù)據(jù)完整性檢驗、數(shù)據(jù)填充、插值等內(nèi)容。
下面是數(shù)據(jù)清洗過程中使用的具體方法
刪除缺失值
DataFrame.dropna 方法用于刪除含有缺失值的行或列,關(guān)鍵參數(shù):axis 和how。
axis表示軸向,0 為行,1 為列,默認 0。
how表示刪除形式,how = 'any' 表示只要有缺失值就刪除;how='all' 表示全為缺失值才刪除。
檢測缺失值
DataFrame.isnull() 識別缺失值,返回包含True和False的 DataFrame。DataFrame.notnull() 方法識別非缺失值,返回包含True和False的 DataFrame。
上述兩方法結(jié)合sum函數(shù)可用于檢測數(shù)據(jù)序列中缺失值的分布情況。
填充缺失值
DataFrame.fillna 方法能用指定值替換缺失值。關(guān)鍵參數(shù):value、method和axis。
value表示指定的填充值。
methodmethod = 'bfill'后向填充,用后面的非缺失值填充;method = 'ffill'前向填充,用前面的非缺失值填充。
axis表示操作軸向,默認1(列)。
拉格朗日插值
from scipy.interpolate import lagrange formula = lagrange(x,y)#formula是通過lagrange方法生成的公式,x和y為數(shù)據(jù)序列 ins_y = formula(ins_x)#ins_x為缺失值所在位置,ins_y為插值結(jié)果。
線性插值
from scipy.interpolate import interp1d#1是數(shù)字一 formula = interp1d(x,y,kind = 'linear')#formula是通過linear方法生成的公式,x和y為數(shù)據(jù)序列 ins_y = formula(ins_x)#ins_x為缺失值所在位置,ins_y為插值結(jié)果。
到此這篇關(guān)于Pandas數(shù)據(jù)清洗的實現(xiàn)的文章就介紹到這了,更多相關(guān)Pandas數(shù)據(jù)清洗內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
- Pandas 數(shù)據(jù)處理,數(shù)據(jù)清洗詳解
- 利用pandas進行數(shù)據(jù)清洗的方法
- pandas數(shù)據(jù)清洗實現(xiàn)刪除的項目實踐
- Pandas數(shù)據(jù)清洗函數(shù)總結(jié)
- Python數(shù)據(jù)清洗之利用pandas篩選數(shù)據(jù)詳解
- 利用pandas進行數(shù)據(jù)清洗的7種方式
- 基于pandas數(shù)據(jù)清洗的實現(xiàn)示例
- Pandas數(shù)據(jù)清洗與過濾空值技巧
- Pandas數(shù)據(jù)清洗的維度詳解
- Pandas 數(shù)據(jù)清洗的具體使用
相關(guān)文章
python讀取文本中數(shù)據(jù)并轉(zhuǎn)化為DataFrame的實例
下面小編就為大家分享一篇python讀取文本中數(shù)據(jù)并轉(zhuǎn)化為DataFrame的實例,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-04-04
Python 利用高德地圖api實現(xiàn)經(jīng)緯度與地址的批量轉(zhuǎn)換
這篇文章主要介紹了Python 利用高德地圖api實現(xiàn)經(jīng)緯度與地址的批量轉(zhuǎn)換,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-08-08
python 字符串轉(zhuǎn)列表 list 出現(xiàn)\ufeff的解決方法
下面小編就為大家?guī)硪黄猵ython 字符串轉(zhuǎn)列表 list 出現(xiàn)\ufeff的解決方法。小編覺得挺不錯的,現(xiàn)在就分享給大家,也給大家做個參考。一起跟隨小編過來看看吧2017-06-06
使用python搭建Django應(yīng)用程序步驟及版本沖突問題解決
這篇文章主要介紹了使用python搭建Django應(yīng)用程序的步驟,最近還解決了因版本沖突出現(xiàn)的錯誤2013-11-11
Python實現(xiàn)根據(jù)文件后綴統(tǒng)計文件大小并找出文件位置
這篇文章主要和大家分享了一個Python腳本,主要用于統(tǒng)計指定文件夾內(nèi)特定后綴文件的數(shù)量、大小及路徑,并支持多種格式導(dǎo)出,文中的示例代碼講解詳細,感興趣的小伙伴可以了解下2026-05-05
在python中求分布函數(shù)相關(guān)的包實例
這篇文章主要介紹了在python中求分布函數(shù)相關(guān)的包實例,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-04-04

