pandas重復行刪除操作df.drop_duplicates和df.duplicated的區(qū)別
更新時間：2022年08月22日 15:38:17 作者：jingzen
本文主要介紹了pandas重復行刪除操作df.drop_duplicates和df.duplicated的區(qū)別，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
概念
df.duplicated（）
使用df.cuplicated()來查看重復數(shù)據(jù)，返回True,False，數(shù)據(jù)類型是bool.
也可以指定某一列是否有重復值df.cuplidated(‘colname’),不指定則默認為第一列。
df.dropduplicates(’col‘,keep=‘first’,inplace=False)
用來刪除重復行。
實例
讀取數(shù)據(jù)
# %% 提取數(shù)據(jù) 從sqlite
import pandas as pd
from sqlalchemy import create_engine
'''創(chuàng)建sqlite3連接'''
eg = create_engine('sqlite:///I:/jianguoyun/Udoc/WorkDb/dataset2022.db') #創(chuàng)建數(shù)據(jù)庫連接
# 讀取數(shù)據(jù)庫文件
q_store = """
select * from pj_store20220525
"""
# 讀取表
cols= ['貨號','品類','節(jié)慶','庫位','合格','換包裝','錯碼','維修','總數(shù)量' ]
df = pd.read_sql(q_store,eg)[cols]
計算重復項
# df.duplicated 計算重復項
cond = df.duplicated('貨號') # 查看貨號相同的項 df.duplicated返回的是布爾值
def_line = df[cond]
def_line
計算有多少個重復行
#有多少個重復行
dep_data = df.duplicated('貨號').sum()
dep_data
用df.drop_duplicates提取夏季品類
# 用df.drop_duplicates提取夏季品類
df_category = df.query('節(jié)慶=="夏季"').drop_duplicates('品類',keep='last',inplace=False)
df_category['品類'].sort_values()
參數(shù)：
- keep ，保留最后last還是第一行first,
- inplace:是否替換原列表,false:不替換，True，替換。
到此這篇關于pandas重復行刪除操作df.drop_duplicates和df.duplicated的區(qū)別的文章就介紹到這了,更多相關pandas df.drop_duplicates df.duplicated內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
python 實現(xiàn)的發(fā)送郵件模板【普通郵件、帶附件、帶圖片郵件】
這篇文章主要介紹了python 實現(xiàn)的發(fā)送郵件模板,包含Python發(fā)送普通郵件、帶附件及帶圖片郵件相關實現(xiàn)技巧,需要的朋友可以參考下2019-07-07
這篇文章主要介紹了Python中Selenium庫使用教程詳解,本文通過實例代碼給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-07-07
python中使用pymssql庫操作MSSQL數(shù)據(jù)庫
這篇文章主要給大家介紹了關于python中使用pymssql庫操作MSSQL數(shù)據(jù)庫的相關資料,最近在學習python,發(fā)現(xiàn)好像沒有對pymssql的詳細說明,于是乎把官方文檔學習一遍,重要部分做個歸檔,方便以后查閱,需要的朋友可以參考下2023-08-08
用python統(tǒng)計代碼行的示例(包括空行和注釋)
今天小編就為大家分享一篇用python統(tǒng)計代碼行的示例(包括空行和注釋)，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-07-07
通過Python模塊filecmp 對文件比較的實現(xiàn)方法
這篇文章主要介紹了通過Python模塊filecmp 對文件比較的實現(xiàn)方法，非常不錯，具有一定的參考借鑒價值,需要的朋友可以參考下2018-06-06
下面小編就為大家分享一篇Python判斷文件和字符串編碼類型的實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2017-12-12
python數(shù)據(jù)分析實戰(zhàn)指南之異常值處理
數(shù)據(jù)預處理是明確分析目標與思路之后進行數(shù)據(jù)分析的第一步,也是整個項目中最基礎、花費時間較長的工作,下面這篇文章主要給大家介紹了關于python數(shù)據(jù)分析實戰(zhàn)指南之異常值處理的相關資料,需要的朋友可以參考下2022-01-01
一文總結學習Python的14張思維導圖，本文涵蓋了Python編程的核心知識，具有一定的參考價值，感興趣的小伙伴們可以參考一下2017-10-10
淺談Python3.10 和 Python3.9 之間的差異
多年來，Python 進行了大量升級，并且在新版本中添加了許多功能。本文就詳細的介紹 一下Python3.10 和 Python3.9差異，感興趣的朋友可以了解一下2021-09-09
這篇文章主要介紹了python中使用docx模塊處理word文檔的相關資料,需要的朋友可以參考下2023-01-01