在pandas中，分箱操作是指將連續(xù)的數(shù)值型數(shù)據(jù)按照一定的規(guī)則劃分為離散的箱子或區(qū)間，這有助于對數(shù)據(jù)進行分析、可視化以及建立統(tǒng)計模型。

1、pd.cut()方法

這個函數(shù)可以根據(jù)指定的分箱邊界將數(shù)據(jù)劃分到不同的區(qū)間，可以指定分箱的邊界、標簽、以及是否包括邊界。

pd.cut(bins,
    right: bool = True,
    labels=None,
    retbins: bool = False,
    precision: int = 3,
    include_lowest: bool = False,
    duplicates: str = "raise",
    ordered: bool = True,)

• bins,判斷的邊界
• right: bool = True,是否包含最右邊的邊界
• labels=None,判斷結果的標簽
• retbins: bool = False,是否歸還bins，
• precision: int = 3,存儲和顯示箱子標簽的精度。
• include_lowest: bool = False,第一個區(qū)間是否包含左區(qū)間
• duplicates: str = "raise",如果箱子的邊不是唯一的，拋出ValueError或刪除非唯一的邊。
• ordered: bool = True,
  • 標簽是否有序。應用于返回類型
  • 如果為true,得到的分類變量是有序的。
  • 如果為False，則返回結果類別將是無序的(必須提供標簽)。

import pandas as pd
import numpy as np

data=[0,60,70,90,100,110,20,30,40,50]
bins=[0,30,60,100]
lables=['Low','Medium','High']


print(pd.cut(data,bins=bins,labels=lables))
print(pd.cut(data,bins=bins,labels=lables,include_lowest=True))

2、 pd.qcut()方法

該函數(shù)根據(jù)數(shù)據(jù)的分位數(shù)來進行分箱操作，可以保證每個箱子內(nèi)的數(shù)據(jù)數(shù)量大致相等。有助于創(chuàng)建等頻分箱。

pd.qcut(
    x,
    q,
    labels=None,
    retbins: bool = False,
    precision: int = 3,
    duplicates: str = "raise",)

參數(shù)

• x：需要處理的數(shù)據(jù)，需要時一維數(shù)組或Series
• q：分位數(shù)，需要與labels數(shù)組長度一致
• labels=None,數(shù)組或者為空（默認為空），用作結果箱的標簽，必須和一樣長的結果箱，如果為False，則只返回的整數(shù)指示箱里。如果為True，則引發(fā)錯誤。
• retbins: bool = False,是否返回bins
• precision: int = 3,存儲和顯示箱子標簽的精度
• duplicates: str = "raise",如果箱子的邊不是唯一的，拋出ValueError或刪除非唯一的邊。

import pandas as pd
import numpy as np

df=pd.DataFrame(np.random.randint(0,101,size=100),columns=['value'])
print(df)
df['level'],bins=pd.qcut(df['value'],q=4,labels=['low','medium','high','higher'],retbins=True)
print(df)
print(bins)
print(df['level'].value_counts())

df

修改后的df

bins以及value_counts

可以看到數(shù)據(jù)進行劃分時的區(qū)間為：1-28.5、28.5- 50,50-73,73-99。根據(jù)value_counts可以看出每個分區(qū)數(shù)量是等頻的。

3、自定義分箱

我們可以自定義函數(shù)通過使用apple進行自定義分箱。一下為例子

import pandas as pd
import numpy as np

s=pd.Series(np.random.randint(0,90,size=100),name='age')

def custom_age_binning(age):
    if age<=30:
        return 'young'
    elif age<=60:
        return 'middle-aged'
    else:
        return 'senior'
    
custom_bins=s.apply(custom_age_binning)

print(custom_bins)

分箱操作的作用

數(shù)據(jù)理解與可視化; 將連續(xù)數(shù)據(jù)分成幾個離散的箱子可以幫助我們更好地理解數(shù)據(jù)的分布情況。通過繪制分箱后的數(shù)據(jù)直方圖、柱狀圖等圖表，可以更清楚地看到數(shù)據(jù)的分布模式，有助于發(fā)現(xiàn)數(shù)據(jù)的特征和異常情況。

特征工程;在機器學習和統(tǒng)計建模中，將連續(xù)數(shù)據(jù)分箱可以將數(shù)值型特征轉換為類別型特征，從而適應某些模型的需求，或者提高模型的性能。例如，某些算法對類別型數(shù)據(jù)更為敏感，分箱后的特征可以提供更多信息。

處理異常值: 將連續(xù)數(shù)據(jù)進行分箱可以幫助處理異常值的影響。異常值可能會對分析和建模產(chǎn)生干擾，通過將數(shù)據(jù)分箱，可以將異常值分到合適的區(qū)間中，減少其影響。

降低模型復雜性; 在一些情況下，使用連續(xù)數(shù)據(jù)可能會導致模型過于復雜，容易過擬合。分箱可以降低模型的復雜性，使模型更具有泛化能力。

缺失值處理: 在分箱過程中，你可以將缺失值劃分到一個單獨的箱子中，從而對缺失值進行特殊處理，而不是直接刪除或填充缺失值。

解決線性關系的問題:有時候數(shù)據(jù)之間的關系可能不是線性的，通過分箱可以在一定程度上捕捉非線性的關系，使建模更加準確。

滿足業(yè)務需求;在實際業(yè)務中，可能需要將連續(xù)數(shù)據(jù)劃分成具有業(yè)務意義的區(qū)間，以滿足特定的業(yè)務需求。例如，將年齡數(shù)據(jù)劃分成不同的年齡段，以便更好地理解不同年齡段的特點。

總之，分箱操作可以幫助我們更好地理解數(shù)據(jù)、提取特征、處理異常值和滿足業(yè)務需求，從而為數(shù)據(jù)分析和建模提供更多的靈活性和可解釋性。

到此這篇關于pandas的分箱操作實現(xiàn)的文章就介紹到這了,更多相關pandas 分箱操作內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！

最新評論