利用pandas進(jìn)行數(shù)據(jù)清洗的7種方式
1.處理數(shù)據(jù)中的空值
我們在處理真實(shí)的數(shù)據(jù)時，往往會有很多缺少的的特征數(shù)據(jù)，就是所謂的空值，必須要進(jìn)行處理才能進(jìn)行下一步分析
空值的處理方式有很多種，一般是刪除或者填充
Excel通過“查找和替換”功能實(shí)現(xiàn)空值的統(tǒng)一替換：
通過“定位”刪除空值：
pandas處理空值的方式比較靈活，可以使用dropna函數(shù)刪除空值
import pandas as pd
data=pd.read_csv('成績表.csv',encoding='gbk')
data.dropna(how='any')
用fillna函數(shù)實(shí)現(xiàn)空值的填充
①使用數(shù)字0填充數(shù)據(jù)表中的空值
data.fillna(value=0)
②使用平均值填充數(shù)據(jù)表中的空值
data['語文'].fillna(data['語文'].mean())
2.刪除空格
excel中清理空格很簡單，直接替換即可
pandas刪除空格也很方便，主要使用map函數(shù)
data['姓名']=data['姓名'].map(str.strip) data
3.大小寫轉(zhuǎn)換
excel中大小寫轉(zhuǎn)換函數(shù)分別為upper()和lower()
pandas中轉(zhuǎn)換函數(shù)也為upper()和lower()
data['拼音']=data['拼音'].str.upper() data
data['拼音']=data['拼音'].str.lower() data
4.更改數(shù)據(jù)格式
excel中更改數(shù)據(jù)格式通過快捷鍵“ctrl+1”打開“設(shè)置單元格格式”：
pandas使用astype來修改數(shù)據(jù)格式，以將“語文”列改成整數(shù)為例
data['語文'].dropna(how='any').astype('int')
5.更改列名稱
excel中更改列名稱就不說了，大家都會
pandas使用rename函數(shù)更改列名稱，代碼如下：
data.rename(columns={'語文':'語文成績'})
6.刪除重復(fù)值
excel的功能區(qū)“數(shù)據(jù)”下有“刪除重復(fù)項(xiàng)”，可以用來刪除表中的重復(fù)值，默認(rèn)保留最第一個重復(fù)值，把后面的刪除：
pandas使用drop_duplicates函數(shù)刪除重復(fù)值：
data['數(shù)學(xué)'].drop_duplicates() #默認(rèn)刪除后面的重復(fù)值
data['數(shù)學(xué)'].drop_duplicates(keep='last') #刪除第一項(xiàng)重復(fù)值
7.修改及替換數(shù)據(jù)
excel中使用“查找和替換”功能實(shí)現(xiàn)數(shù)值的替換
pandas中使用replace函數(shù)實(shí)現(xiàn)數(shù)據(jù)替換
data['姓名'].replace('成 功','失 敗')到此這篇關(guān)于利用pandas進(jìn)行數(shù)據(jù)清洗的7種方式的文章就介紹到這了,更多相關(guān)pandas數(shù)據(jù)清洗內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
Pycharm最全報錯的原因與解決方法總結(jié)(推薦!)
這篇文章主要給大家介紹了關(guān)于Pycharm最全報錯的原因與解決方法的相關(guān)資料,文中記錄了Python各種報錯解釋及處理方法,屬于個人記錄型,需要的朋友可以參考下2022-07-07
這篇文章主要介紹了Python高級特性之閉包與裝飾器,結(jié)合實(shí)例形式詳細(xì)分析了Python閉包與裝飾器的相關(guān)原理、使用方法及相關(guān)操作注意事項(xiàng),需要的朋友可以參考下2019-11-11
python基于itchat模塊實(shí)現(xiàn)微信防撤回
這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)微信防撤回，基于itchat模塊，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-04-04
這篇文章主要為大家詳細(xì)介紹了python圖形用戶接口實(shí)例，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-12-12
這篇文章主要介紹了python基礎(chǔ)之匿名函數(shù)詳解,文中有非常詳細(xì)的代碼示例,對正在學(xué)習(xí)python基礎(chǔ)的小伙伴們有很好的幫助,需要的朋友可以參考下2021-04-04
Python iter()函數(shù)用法實(shí)例分析
這篇文章主要介紹了Python iter()函數(shù)用法,結(jié)合實(shí)例形式詳細(xì)分析了Python iter()函數(shù)的功能、使用方法及相關(guān)操作注意事項(xiàng),需要的朋友可以參考下2018-03-03
這篇文章主要介紹了jupyternotebook 撤銷刪除的操作方式，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-04-04
在本篇文章里小編給大家分享的是一篇關(guān)于怎么快速自學(xué)python的相關(guān)內(nèi)容，有興趣的朋友們可以學(xué)習(xí)參考下。2020-06-06
對Python 窗體(tkinter)樹狀數(shù)據(jù)(Treeview)詳解
今天小編就為大家分享一篇對Python 窗體(tkinter)樹狀數(shù)據(jù)(Treeview)詳解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-10-10
Django是Python最流行的Web框架之一,它幫助開發(fā)者快速、高效地構(gòu)建功能強(qiáng)大的Web應(yīng)用程序,接下來我們將從簡介、安裝到用法詳解,全方位解析Django的世界,感興趣的朋友跟隨小編一起看看吧2025-08-08