Python中刪除數(shù)據(jù)表中重復(fù)值的方法非常多，本文主要講解的是pandas中的drop_duplicates()方法去重。

引用pandas

import pandas as pd

若沒有pandas類包，通過pip install進(jìn)行安裝。在終端中輸入：

pip install pandas

 創(chuàng)建數(shù)據(jù)表：

date_range = pd.date_range(start='2025-01-01', periods=6)  # 生成日期數(shù)據(jù)

df = pd.DataFrame({'id': [1001, 1002, 1003, 1004, 1005, 1006],
                   'data': date_range,
                   'city': ['beijing', 'shanghai', 'beijing', 'Shengzhen', 'wuhan', 'beijing'],
                   'price': [23, 30, 23, 54, 26, 25]},
                  columns=['id', 'data', 'city', 'price'])

輸出結(jié)果為：

print(df)

通過輸出的數(shù)據(jù)表可以看出，city中第0行、第2行、第5行數(shù)據(jù)重復(fù)，要想刪除重復(fù)數(shù)據(jù)的行，在pandas中可以使用drop_duplicates()函數(shù)進(jìn)行刪除。

drop_duplicates()函數(shù)說明：

來源于frame.py，主要參數(shù)說明如下：
subset：表示要去重的列名，默認(rèn)為None。
keep：first、last、False；first表示保留首次出現(xiàn)的數(shù)據(jù)，last表示保留最后一個(gè)數(shù)據(jù)，F(xiàn)alse表示重復(fù)的數(shù)據(jù)全部不留。
inplace：True、False；True表示基于原數(shù)據(jù)表進(jìn)行修改，F(xiàn)alse表示去重后生成一個(gè)新的copy對(duì)象。

例：

# 在原表中刪除city中重復(fù)的內(nèi)容，并保留首次出現(xiàn)的數(shù)據(jù)
df.drop_duplicates(subset=['city'],keep='first',inplace=True) 

輸入結(jié)果為：

保留了第0行，刪除第2行、第5行的數(shù)據(jù)。以此類推：當(dāng)keep=last時(shí)，將保留第5行數(shù)據(jù)，當(dāng)keep=False時(shí)，刪除第0行、第2行、第5行數(shù)據(jù)。

上述為inplace=True時(shí)，在原數(shù)據(jù)表df表中對(duì)數(shù)據(jù)進(jìn)行了更改。

當(dāng)inplace=False時(shí)，程序?qū)?huì)copy一個(gè)新的數(shù)據(jù)表，在新copy的數(shù)據(jù)表中進(jìn)行刪除，不會(huì)影響原表的數(shù)據(jù)。

例：

df.drop_duplicates(subset=['city'],keep='first',inplace=False)
print(df)

此時(shí)輸出的df數(shù)據(jù)表結(jié)果為：

df數(shù)據(jù)表中的數(shù)據(jù)沒有發(fā)生變化，表示此時(shí)修改的對(duì)象非df數(shù)據(jù)表。

# 刪除df數(shù)據(jù)表city列中重復(fù)的數(shù)據(jù)，并賦值值給df2
df2 = df.drop_duplicates(subset=['city'],keep='first',inplace=False) 
print(df2)

此時(shí)輸出的df2數(shù)據(jù)表結(jié)果為：

從上述結(jié)果看出，當(dāng)inplace=False時(shí)，程序?qū)?huì)copy一個(gè)新的數(shù)據(jù)表，在新copy的數(shù)據(jù)表中對(duì)重復(fù)的數(shù)據(jù)進(jìn)行刪除。

補(bǔ)充說明：

在pandas中還有一個(gè)drop_duplicates()，該方法來源于series.py。使用時(shí)會(huì)生成一個(gè)新的數(shù)據(jù)表，在使用時(shí)inplace不能為True，否則會(huì)返回None。

例：

df3 = df['city'].drop_duplicates(keep='first',inplace=False) 

輸出結(jié)果為：

到此這篇關(guān)于Python中pandas刪除數(shù)據(jù)表中的重復(fù)值的文章就介紹到這了,更多相關(guān)pandas刪除重復(fù)值內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！ 

最新評(píng)論