python使用箱型圖剔除異常值的實(shí)現(xiàn)方法

更新時(shí)間：2023年05月09日 16:25:13 作者：bug嘛我經(jīng)常寫

python中的箱線圖可用于分析數(shù)據(jù)中的異常值,下面這篇文章主要給大家介紹了關(guān)于python使用箱型圖剔除異常值的相關(guān)資料,文中通過實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下

箱型圖

將一組數(shù)據(jù)從大到小排列，分別計(jì)算出，

上四分位數(shù)??3： 75%分位點(diǎn)所對(duì)應(yīng)的值
中位數(shù)??2： 50%分位點(diǎn)對(duì)應(yīng)的值
下四分位數(shù)??1： 25%分位點(diǎn)所對(duì)應(yīng)的值
上邊緣（須）： Q3+1.5(Q3-Q1)
下邊緣（須）： Q1-1.5(Q3-Q1)

數(shù)據(jù)??的合理范圍為：

??1 − 1.5(??3 − ??1) ≤ ?? ≤ ??3 + 1.5(??3 − ??1)

和使用3σ準(zhǔn)則剔除異常值相比，箱線圖不需要數(shù)據(jù)服從正態(tài)分布，能真實(shí)直觀的表現(xiàn)數(shù)據(jù)形狀；箱線圖以四分位數(shù)和四分位距作為判斷異常值的標(biāo)準(zhǔn)，四分位數(shù)具有一定的耐抗性，多達(dá) 25%的數(shù)據(jù)可以變得任意遠(yuǎn)而不會(huì)很大地?cái)_動(dòng)四分位數(shù)，使得異常值無法對(duì)數(shù)據(jù)形狀造成巨大影響，因此箱形圖識(shí)別異常值的結(jié)果比較客觀。

pandas.DataFrame.quantile

對(duì)于dataframe形式的數(shù)據(jù)，可以直接調(diào)用DataFrame.quantile()，以快速計(jì)算箱型圖的分位點(diǎn)。

DataFrame.quantile(q=0.5, axis=0, numeric_only=True, interpolation='linear')

參數(shù)：

q：float or array-like, default 0.5 (50% quantile)，0 ≤ q ≤ 1之間的值，即要計(jì)算的分位數(shù)；
axis：{0, 1, ‘index’, ‘columns’}, default 0，對(duì)于行，等于0或“索引”，對(duì)于列，等于1或“列”；
numeric_only：bool, default True，如果為False，則還將計(jì)算日期時(shí)間和時(shí)間增量數(shù)據(jù)的分位數(shù)；
interpolation：{‘linear’, ‘lower’, ‘higher’, ‘midpoint’, ‘nearest’}，當(dāng)所需分位數(shù)位于兩個(gè)數(shù)據(jù)點(diǎn)i和j之間時(shí)，此可選參數(shù)指定要使用的插值方法。

返回：（Series or DataFrame）

如果q是數(shù)組，則將返回DataFrame，其中index為q，列為self的列，值為分位數(shù)。
如果q為float，則index是self的列，值為分位數(shù)

示例：

import pandas as pd
import numpy as np
 
# 生成數(shù)據(jù)
d = pd.DataFrame({"SO2":[-1000, 5, 5, 10, 9, 12, 11, 100],
                     "NO2":[12, 52, 14, 10, 10, 23, 15, 9],
                     "CO2":[15, 23, 0, 24, 25, 7, 4, 715],
                     "O3":[17, 23, 33, 10000, 11, 47, 5, 22] })

q 為 float：

q 為數(shù)組：

代碼實(shí)現(xiàn)

# 箱型圖判斷異常點(diǎn)
def box_outlier(data):
    df = data.copy(deep=True)
    out_index = []
    for col in df.columns:             # 對(duì)每一列分別用箱型圖進(jìn)行判斷
        Q1 = df[col].quantile(q=0.25)       # 下四分位
        Q3 = df[col].quantile(q=0.75)       # 上四分位
        low_whisker = Q1 - 1.5 * (Q3 - Q1)  # 下邊緣
        up_whisker = Q3 + 1.5 * (Q3 - Q1)   # 上邊緣
        # 尋找異常點(diǎn),獲得異常點(diǎn)索引值，刪除索引值所在行數(shù)據(jù)
        rule = (df[col] > up_whisker) | (df[col] < low_whisker)  
        out = df[col].index[rule]
        out_index += out.tolist()  
    df.drop(out_index, inplace=True)
    return df

使用前文創(chuàng)建的數(shù)據(jù)