Pandas 中的 drop_duplicates()

Pandas 中的 drop_duplicates() 函數(shù)用于從 DataFrame 中刪除重復的行。該函數(shù)有一些參數(shù)，允許你進行不同方式的重復行處理。以下是 drop_duplicates() 函數(shù)的主要參數(shù)解析：

subset（可選參數(shù)）：

作用：指定要考慮重復的列。

默認值：None，表示考慮整個行的重復。

示例：df.drop_duplicates(subset=[‘column1’, ‘column2’])

keep（可選參數(shù)）：

作用：指定保留哪些重復行。

可選值：‘first’：保留第一次出現(xiàn)的重復行（默認值）。

‘last’：保留最后一次出現(xiàn)的重復行。

False：刪除所有重復行，不保留任何重復行。示例：df.drop_duplicates(keep=‘last’)

inplace（可選參數(shù)）：

作用：如果設置為 True，將在原始 DataFrame 上執(zhí)行刪除操作，不返回新的 DataFrame。

默認值：False，表示返回一個新的 DataFrame，原始 DataFrame 不受影響。

示例：df.drop_duplicates(inplace=True)

ignore_index（可選參數(shù)）：

作用：如果設置為 True，刪除后的 DataFrame 將重新索引，以便索引從零開始。

默認值：False。

示例：df.drop_duplicates(ignore_index=True)

subset 和 keep 參數(shù)的組合：

通常，subset 參數(shù)用于指定要考慮重復的列，而 keep 參數(shù)用于控制保留哪些重復行。例如，df.drop_duplicates(subset=[‘column1’, ‘column2’], keep=‘last’) 表示在 ‘column1’ 和 ‘column2’ 列上考慮重復，但保留最后一次出現(xiàn)的重復行。

drop_duplicates() 函數(shù)通常用于數(shù)據(jù)清洗，以刪除數(shù)據(jù)中的重復記錄，以便進行分析或建模。

你可以根據(jù)具體的需求使用不同的參數(shù)組合來執(zhí)行不同的重復行處理操作。

補充：

Pandas-去重函數(shù)drop_duplicates()詳解

Panda DataFrame 對象提供了一個數(shù)據(jù)去重的函數(shù) drop_duplicates()，本節(jié)對該函數(shù)的用法做詳細介紹。

格式介紹

drop_duplicates()函數(shù)的語法格式如下：

data.drop_duplicates(subset=['a','b','b'],keep='first',inplace=True)

參數(shù)說明如下：
subset：表示要進去重的列名，默認為 None。
keep：有三個可選參數(shù)，分別是 first、last、False，默認為 first，表示只保留第一次出現(xiàn)的重復項，刪除其余重復項，last 表示只保留最后一次出現(xiàn)的重復項，F(xiàn)alse 則表示刪除所有重復項。
inplace：布爾值參數(shù)，默認為 False 表示刪除重復項后返回一個副本，若為 Ture 則表示直接在原數(shù)據(jù)上刪除重復項。

示例數(shù)據(jù)

代碼：

import pandas as pd
data = pd.DataFrame({
    'a':[2,1,1,1,1,1,2],
    'b':[1,3,2,4,1,1,5],
    'c':[1,3,2,4,1,1,3],
    'd':[1,3,2,4,1,1,8]
})
print (data)

打印結果

實際應用

1、默認保留第一次出現(xiàn)的重復項

代碼：

import pandas as pd
data = pd.DataFrame({
    'a':[2,1,1,1,1,1,2],
    'b':[1,3,2,4,1,1,5],
    'c':[1,3,2,4,1,1,3],
    'd':[1,3,2,4,1,1,8]
})
data_del = data.drop_duplicates()
print (data_del)

打印結果

2、刪除所有重復項

代碼：

import pandas as pd
data = pd.DataFrame({
    'a':[2,1,1,1,1,1,2],
    'b':[1,3,2,4,1,1,5],
    'c':[1,3,2,4,1,1,3],
    'd':[1,3,2,4,1,1,8]
})
data_del = data.drop_duplicates(keep=False)
print (data_del)

打印結果

3、根據(jù)指定列標簽去重

代碼：

import pandas as pd
data = pd.DataFrame({
    'a':[2,1,1,1,1,1,2],
    'b':[1,3,2,4,1,1,5],
    'c':[1,3,2,4,1,1,3],
    'd':[1,3,2,4,1,1,8]
})
data_del = data.drop_duplicates(subset=['b'],keep=False)
print (data_del)

打印結果

4、指定多列同時去重

代碼：

import pandas as pd
data = pd.DataFrame({
    'a':[2,1,1,1,1,1,2],
    'b':[1,3,2,4,1,1,5],
    'c':[1,3,2,4,1,1,3],
    'd':[1,3,2,4,1,1,8]
})
data_del = data.drop_duplicates(subset=['b','c'],keep=False)
print (data_del)

打印結果

到此這篇關于Pandas 中的 drop_duplicates()的文章就介紹到這了,更多相關Pandas drop_duplicates()內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！

最新評論