python pandas消除空值和空格以及 Nan數(shù)據(jù)替換方法
在人工采集數(shù)據(jù)時，經(jīng)常有可能把空值和空格混在一起，一般也注意不到在本來為空的單元格里加入了空格。這就給做數(shù)據(jù)處理的人帶來了麻煩，因為空值和空格都是代表的無數(shù)據(jù)，而pandas中Series的方法notnull()會把有空格的數(shù)據(jù)也納入進來，這樣就不能完整地得到我們想要的數(shù)據(jù)了，這里給出一個簡單的方法處理該問題。
方法1：
既然我們認為空值和空格都代表無數(shù)據(jù)，那么可以先得到這兩種情況下的布爾數(shù)組。
這里，我們的DataFrame類型的數(shù)據(jù)集為df，其中有一個變量VIN，那么取得空值和空格的布爾數(shù)組為NONE_VIN。然后通過該布爾數(shù)組，就能得到我們要的數(shù)據(jù)了
NONE_VIN = (df["VIN"].isnull()) | (df["VIN"].apply(lambda x: str(x).isspace())) df_null = df[NONE_VIN] df_not_null = df[~NONE_VIN]
方法2：
直接使用Series的.apply方法來修改變量VIN中的每個值。如果發(fā)現(xiàn)是空格，就返回Nan，否則就返回原值。
df["VIN"]=df["VIN"].apply(lambda x: np.NaN if str(x).isspace() else x) df_null = df[df["VIN"].isnull()] df_not_null = df[df["VIN"].notnull()]
將dataframe中的NaN替換成希望的值
import pandas as pd
df1 = pd.DataFrame([{'col1':'a', 'col2':1}, {'col1':'b', 'col2':2}])
df2 = pd.DataFrame([{'col1':'a', 'col3':11}, {'col1':'c', 'col3':33}])
data = pd.merge(left=df1, right=df2, how='left', left_on='col1', right_on='col1')
print data
# 將NaN替換為None
print data.where(data.notnull(), None)
輸出結果：
col1 col2 col3 0 a 1 11 1 b 2 NaN col1 col2 col3 0 a 1 11 1 b 2 None
總結：
方法1的思路就是直接判定是否為空格，把空格納入到選擇中來。方法2的思路是先把空格轉換為NaN，然后正常使用.isnull()或.notnull()來得到我們想要的數(shù)據(jù)。
以上這篇python pandas消除空值和空格以及 Nan數(shù)據(jù)替換方法就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
這篇文章主要介紹了如何使用python寫截屏小工具,本文通過實例代碼給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-09-09
今天小編就為大家分享一篇對python多線程SSH登錄并發(fā)腳本詳解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-02-02
Django rest framework基本介紹與代碼示例
這篇文章主要介紹了Django rest framework基本介紹與代碼示例，簡單敘述了rest framework的一些用處，可選擇的相關軟件包，然后分享了一個簡單的模型支持的API的例子，小編覺得還是挺不錯的，具有一定借鑒價值，需要的朋友可以參考下2018-01-01
selenium 安裝與chromedriver安裝的方法步驟
這篇文章主要介紹了selenium 安裝與chromedriver安裝的方法步驟，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2019-06-06
pycharm配置SSH遠程連接服務器詳細步驟(0基礎詳細版)
PyCharm是一款流行的Python集成開發(fā)環(huán)境(IDE),提供了遠程連接云服務器的功能,使得開發(fā)者可以更加便捷地進行遠程開發(fā)和調試,這篇文章主要給大家介紹了關于pycharm配置SSH遠程連接服務器的詳細步驟,需要的朋友可以參考下2024-07-07
ubuntu16.04制作vim和python3的開發(fā)環(huán)境
本文給大家介紹的是在ubuntu系統(tǒng)下制作python3開發(fā)環(huán)境的詳細步驟，非常的實用，有需要的小伙伴可以參考下2018-09-09
閉包是優(yōu)雅的 Python 結構,在本文中,我們將了解它們,如何定義閉包,為什么以及何時使用它們.但是在討論什么是閉包之前,我們必須首先理解什么是嵌套函數(shù),以及作用域規(guī)則是如何為它們工作的.那么讓我們開始吧,需要的朋友可以參考下2021-06-06
這篇文章主要介紹了解決keras使用cov1D函數(shù)的輸入問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-06-06
詳解如何使用Python的Plotly庫進行交互式圖形可視化
Python中有許多強大的工具和庫可用于創(chuàng)建交互式圖形,其中之一就是Plotly庫,Plotly庫提供了豐富的功能和靈活的接口,使得創(chuàng)建各種類型的交互式圖形變得簡單而直觀,本文將介紹如何使用Plotly庫來創(chuàng)建交互式圖形,需要的朋友可以參考下2024-05-05
Python企業(yè)編碼生成系統(tǒng)之系統(tǒng)主要函數(shù)設計詳解
這篇文章主要介紹了Python企業(yè)編碼生成系統(tǒng)之系統(tǒng)主要函數(shù)設計,涉及目錄操作、文件讀寫、驗證判斷、編碼輸出等功能實現(xiàn)技巧,需要的朋友可以參考下2019-07-07