Python Dataframe 指定多列去重、求差集的方法
1）去重
指定多列去重，這是在dataframe沒有獨(dú)一無二的字段作為PK（主鍵）時(shí)，需要指定多個(gè)字段一起作為該行的PK，在這種情況下對(duì)整體數(shù)據(jù)進(jìn)行去重。
Attention：主要用到了drop_duplicates方法，并設(shè)置參數(shù)subset為多個(gè)字段名構(gòu)成的數(shù)組。
具體代碼如下：
>>>import pandas as pd
>>>data={'state':[1,1,2,2,1,2,2],'pop':['a','b','c','d','b','c','d']}
>>>frame=pd.DataFrame(data)
>>>frame
pop state
0 a 1
1 b 1
2 c 2
3 d 2
4 b 1
5 c 2
6 d 2
>>>frame.drop_duplicates(subset=['pop','state'])
pop state
0 a 1
1 b 1
2 c 2
3 d 2
2）求差集
假設(shè)有兩個(gè)dataframe為a和b，a和b可以是相互包含的關(guān)系，現(xiàn)在想要將a中和b重復(fù)的內(nèi)容去掉，也就是求差集，步驟如下：
（1）需要對(duì)兩個(gè)dataframe進(jìn)行去重。
（2）利用append方法，a=a.append(b)
（3）再次利用append方法，a=a.append(b)
（4）去重，利用drop_duplicates方法，a=a.drop_duplicates()，以及設(shè)置參數(shù)keep=False，意思就是只要有重復(fù)，重復(fù)的記錄都去掉。（keep默認(rèn)='first',也就是保留第一條記錄）
具體代碼如下：
>>>data_a={'state':[1,1,2],'pop':['a','b','c']}
>>>data_b={'state':[1,2,3],'pop':['b','c','d']}
>>>a=pd.DataFrame(data_a)
>>>a
pop state
0 a 1
1 b 1
2 c 2
>>>b=pd.DataFrame(data_b)
>>>b
pop state
0 b 1
1 c 2
2 d 3
>>>a = a.append(b)
>>>a = a.append(b)
>>>result = a.drop_duplicates(subset=['pop','state'],keep=False)
>>>result
pop state
0 a 1
以上這篇Python Dataframe 指定多列去重、求差集的方法就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
Python中動(dòng)態(tài)創(chuàng)建類實(shí)例的方法
在Java中我們可以通過反射來根據(jù)類名創(chuàng)建類實(shí)例,那么在Python我們?cè)趺磳?shí)現(xiàn)類似功能呢？其實(shí)在Python有一個(gè)builtin函數(shù)import，我們可以使用這個(gè)函數(shù)來在運(yùn)行時(shí)動(dòng)態(tài)加載一些模塊2017-03-03
SageMath是一個(gè)開源的數(shù)學(xué)軟件,它可以與Python進(jìn)行交互,本文通過實(shí)例代碼介紹了SageMath與Python的使用,需要的朋友可以參考下2024-03-03
這篇文章主要介紹了python多線程抓取天涯帖子內(nèi)容示例,需要的朋友可以參考下2014-04-04
這篇文章主要介紹了Flask?web上傳獲取圖像Image讀取并使用方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2022-11-11
Python實(shí)現(xiàn)PDF文字識(shí)別提取并寫入CSV文件
這篇文章主要是和大家分享一個(gè)Python實(shí)現(xiàn)PDF文字識(shí)別與提取并寫入?CSV文件的腳本。文中的示例代碼講解詳細(xì)，感興趣的小伙伴可以了解一下2022-03-03
python實(shí)現(xiàn)網(wǎng)站的模擬登錄
這篇文章主要介紹了python實(shí)現(xiàn)網(wǎng)站的模擬登錄的相關(guān)資料，通過自己構(gòu)造post數(shù)據(jù)來用Python實(shí)現(xiàn)登錄過程,需要的朋友可以參考下2016-01-01
Python日期和時(shí)間戳的轉(zhuǎn)換的實(shí)現(xiàn)方式
Python中日期和時(shí)間的處理涉及到time和datetime模塊,time模塊可實(shí)現(xiàn)時(shí)間戳與格式化時(shí)間字符串的轉(zhuǎn)換,而datetime模塊則提供更加直接易用的接口,本文詳細(xì)給大家介紹了Python日期和時(shí)間戳的轉(zhuǎn)換的實(shí)現(xiàn)方式,需要的朋友可以參考下2024-10-10
Python調(diào)用SMTP服務(wù)自動(dòng)發(fā)送Email的實(shí)現(xiàn)步驟
這篇文章主要介紹了Python調(diào)用SMTP服務(wù)自動(dòng)發(fā)送Email的實(shí)現(xiàn)步驟，幫助大家更好的理解和使用python，感興趣的朋友可以了解下2021-02-02
下面小編就為大家?guī)硪黄猵ython操作字典類型的常用方法(推薦)。小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考，一起跟隨小編過來看看吧2016-05-05
python+opencv實(shí)現(xiàn)移動(dòng)偵測(cè)（幀差法）
這篇文章主要為大家詳細(xì)介紹了python+opencv實(shí)現(xiàn)移動(dòng)偵測(cè)，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2020-03-03