Python-pandas返回重復(fù)數(shù)據(jù)的index問題
在處理數(shù)據(jù)的時候，會出先相同的列或者行，我們需要有時候需要對其中一列或者其中一行進(jìn)行操作
因為數(shù)據(jù)清洗的過程會碰到多種情況
下面是我碰到的一種情況
既有合并的又有空列
使用pandas進(jìn)行讀取后
現(xiàn)在需要以第一行作為列名，然后去掉NaN的列
讀取數(shù)據(jù)的時候，在pd.read_excel()中可以添加參數(shù)header=None這個參數(shù) 默認(rèn)沒有頭列
代碼如下
import pandas as pd
data = pd.read_excel('test.xlsx',header=None)
接下來處理為NaN的列
因為pandas讀取NaN只能判斷出狀態(tài)，并不能作為選擇，這里需要轉(zhuǎn)變一個想法，我常用的是轉(zhuǎn)換為True or False，剛好pandas里面有自帶的函數(shù)，代碼如下：
使用notna()函數(shù)
# 因為都進(jìn)來的數(shù)據(jù),我們需要的列名還是在第一行,固我們?nèi)〉谝恍械乃? judge_nan_col = data.iloc[1,:].notna().tolist() print(judge_nan_col)
tolist()是方便我們?nèi)ndex
接下來是關(guān)鍵的部分了，因為有多個False，所以如果按照我們之前的list.index()這種是不可取的
這里我以為大家演示下
返回的同一個索引，默認(rèn)是第一次出現(xiàn)的,所以這個方法是不可取的
這里有多個方法
1.使用list.index()方法
需要使用count()函數(shù)進(jìn)行計數(shù)
count = judge_nan_col.count(False) index_list = [] index = -1 # 通過list.index()方法的__start參數(shù),指定起始索引 for i in range(0, count): index = judge_nan_col.index(False, index + 1) index_list.append(index) print(index_list)
2.通過索引遍歷原列表,對每個元素進(jìn)行判斷
list_len = len(judge_nan_col)
index_list = []
for i in range(0, list_len):
if judge_nan_col[i] == False:
index_list.append(i)
print(index_list)
3.使用enumerate()函數(shù)
index_list = [i for i, col in enumerate(judge_nan_col) if col == False] print(index_list)
目前我能想到的就這三種了
獲取到我們想要的列了，并且存到了列表中，這下就是進(jìn)行刪除了
pandas自帶函數(shù)drop()就可以盡心行或列的刪除
# 可以根據(jù)需要看刪除哪一列,我這里是全部進(jìn)行刪除 data = data.drop(index_list,axis=1) print(data)
現(xiàn)在離目標(biāo)很近了，就差第一行了，還是一樣，使用data.iloc()函數(shù)，重新構(gòu)建dataframe
# 獲取列名
columns = data.iloc[1,:].tolist()
print('columns: ',columns,'\n')
print('=================================')
data = data.iloc[1:,:]
data.columns=columns
print(data)
輸出到excel
data.to_excel('complete.xlsx',index=False)
處理行，同上 不過刪除的時候
需要將data = data.drop(axis=0)
axis=1 轉(zhuǎn)換為 axis=0
總結(jié)
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
今天給大家?guī)硪黄老x小教程，很簡單的幾十行代碼就可以實(shí)現(xiàn)了，爬取的目標(biāo)是短視頻，感興趣的同學(xué)快來跟著小編往下看吧2021-11-11
Python 實(shí)現(xiàn)使用dict 創(chuàng)建二維數(shù)據(jù)、DataFrame
下面小編就為大家分享一篇Python 實(shí)現(xiàn)使用dict 創(chuàng)建二維數(shù)據(jù)、DataFrame，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-04-04
這篇文章主要介紹了Python調(diào)用C/C++的方法解析，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-08-08
基于Python實(shí)現(xiàn)經(jīng)典植物大戰(zhàn)僵尸游戲
這篇文章主要介紹了如何利用Python實(shí)現(xiàn)植物大戰(zhàn)僵尸游戲,文中有非常詳細(xì)的代碼示例,對正在學(xué)習(xí)python的小伙伴們有非常好的幫助,需要的朋友可以參考下2022-05-05
Python3 循環(huán)語句(for、while、break、range等)
這篇文章主要介紹了Python3 循環(huán)語句(for、while、break、range等)，大家把下面的文章看完就基本上就可以了解了python的循環(huán)實(shí)現(xiàn)方式了2017-11-11
這篇文章主要介紹了python 自動化辦公之批量修改文件名實(shí)操，文章圍繞主題展開詳細(xì)的內(nèi)容介紹，具有一定的參考價值，需要的小伙伴可以參考一下2022-07-07
python實(shí)現(xiàn)將一維列表轉(zhuǎn)換為多維列表(numpy+reshape)
今天小編就為大家分享一篇python實(shí)現(xiàn)將一維列表轉(zhuǎn)換為多維列表(numpy+reshape)，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-11-11
Python發(fā)送郵件封裝實(shí)現(xiàn)過程詳解
這篇文章主要介紹了Python發(fā)送郵件封裝實(shí)現(xiàn)過程詳解,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-05-05
這篇文章主要介紹了Python中獲取對象信息的方法,是Python學(xué)習(xí)當(dāng)中的基礎(chǔ)知識,需要的朋友可以參考下2015-04-04
這篇文章主要為大家介紹了python?class和封裝，具有一定的參考價值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助2021-12-12