pandas數(shù)據(jù)處理之取出重復數(shù)據(jù)實踐
更新時間：2026年04月22日 09:13:40 作者：星越華夏
本文介紹了使用Pandas庫處理重復數(shù)據(jù)的方法,方法一通過將duplicate_bool設為True,保留重復數(shù)據(jù)；方法二通過兩次drop_duplicates操作,得到重復數(shù)據(jù)
pandas取出重復數(shù)據(jù)
平常我們用pandas做重復數(shù)據(jù)處理時，常常調(diào)用到drop_duplicates方法來去除重。
現(xiàn)在我不想完全去除重復，而是把重復數(shù)據(jù)輸出，現(xiàn)有數(shù)據(jù)如下所示：
dic = {'序號':[2,3,4,5,6,7,8,9,10,11,12,13,14,15],'地市縮寫': ['LF', 'CZ', 'HS', 'ZJ', 'TS', 'HD', '廣陽', 'CD', 'QH', 'XT', 'XA', 'BD', 'SJ', '欒城'],
'地市': ['廊坊', '滄州', '衡水', '張家口', '唐山', '邯鄲', '廊坊', '承德', '秦皇島', '邢臺', '雄安', '保定',
'石家莊', '石家莊']}
p_city = pd.DataFrame(dic)
print(p_city )輸出：
方法一
重復數(shù)據(jù)保留一個，duplicate_bool輸出的是bool類型值，通過判斷bool==True，取出重復行。
duplicate_bool = p_city.duplicated(subset=['地市'], keep='first') print(duplicate_bool ) repeat =p_city.loc[duplicate_bool == True] print(repeat)
輸出：
方法二
采用drop_duplicates對數(shù)據(jù)去兩次重，一次將重復數(shù)據(jù)全部去除(keep=False)，一次將重復數(shù)據(jù)保留一個(keep=last/first)，將兩個去重后的數(shù)據(jù)做差集，取出重復行。
# 重復數(shù)據(jù)全部去除 data1 = p_city.drop_duplicates(subset=['地市'], keep=False) print(data1)
輸出：
# 重復數(shù)據(jù)保留一個 data2 = p_city.drop_duplicates(subset=['地市'], keep='last') print(data2)
輸出：
# 做差集，取出重復行 data1 = p_city.drop_duplicates(subset=['地市'], keep=False) data2 = p_city.drop_duplicates(subset=['地市'], keep='last') repeat = pd.concat([data2,data1]).drop_duplicates(keep=False) print(repeat)
輸出：
總結(jié)
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
這篇文章主要介紹了python with (as)語句實例詳解,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-02-02
貪吃蛇（也叫做貪食蛇）游戲是一款休閑益智類游戲，有PC和手機等多平臺版本。既簡單又耐玩。本文將利用Python語言快速實現(xiàn)簡易貪吃蛇小游戲，感興趣的可以嘗試一下2022-10-10
Python+Django在windows下的開發(fā)環(huán)境配置圖解
Python+Django在windows下的開發(fā)環(huán)境配置圖解教程，需要的朋友可以參考下。2009-11-11
在日常辦公和數(shù)據(jù)處理中,經(jīng)常需要將Word文檔中的表格提取為DataFrame進行后續(xù)分析,但Word表格的格式復雜,常規(guī)讀取方式容易丟失格式或出現(xiàn)內(nèi)容為空的問題,本文將從基礎到終極,提供5個版本的可直接運行代碼,覆蓋所有Word表格場景,需要的朋友可以參考下2026-05-05
這篇文章主要介紹了python中的線程池threadpool問題，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-11-11
這篇文章主要介紹了Python調(diào)用.NET庫的方法步驟，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-12-12
Python解析網(wǎng)頁源代碼中的115網(wǎng)盤鏈接實例
這篇文章主要介紹了Python解析網(wǎng)頁源代碼中的115網(wǎng)盤鏈接實例,主要采用了正則表達式re模塊來實現(xiàn)該功能,需要的朋友可以參考下2014-09-09
今天小編就為大家分享一篇pandas.loc 選取指定列進行操作的實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-05-05
本文主要介紹了利用Pygame實現(xiàn)落球小游戲，即屏幕上落下一個球，通過鼠標移動，地下的木塊如果接上則加分，否則就減去一命，三條命用完則游戲結(jié)束。感興趣的可以學習2022-01-01
這篇文章主要介紹了pandas 使用insert插入一列的操作，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2021-03-03