快捷導(dǎo)航

python驗(yàn)證多組數(shù)據(jù)之間有無(wú)顯著差異

更新時(shí)間：2022年01月02日 15:23:35 作者：fff2zrx?

這篇文章主要介紹了python驗(yàn)證多組數(shù)據(jù)之間有無(wú)顯著差異，利用方差分析和卡方分布驗(yàn)證多組數(shù)據(jù)之間的某些屬性有無(wú)顯著性差異，對(duì)于連續(xù)性屬性可以用方差分析，對(duì)于離散型屬性可以用卡方檢驗(yàn)。下面文章詳細(xì)內(nèi)容需要的小伙伴可以參考一下

一、方差分析

1.單因素方差分析

通過(guò)箱線圖可以人肉看出10組的訂單量看起來(lái)差不多，為了更科學(xué)比較10組的訂單量有無(wú)顯著差異，我們可以利用方差分析

from statsmodels.formula.api import ols
from statsmodels.stats.anova import anova_lm
model = ols('orders~C(label)',data=need_data).fit()
anova_table = anova_lm(model, typ = 2)
print(anova_table)

結(jié)果顯示，p值為0.62大于0.05，不能拒絕原假設(shè)，所以這10組的訂單量分布沒(méi)有顯著差異。

二、卡方檢驗(yàn)

如果是比較多組之間的非連續(xù)值指標(biāo)是否存在差異呢？

如檢查上面10組的男女比例是否存在顯著差異

計(jì)算各組觀察頻數(shù)：

data2=data1.melt(id_vars=['性別'],value_name='觀察頻數(shù)')
data2.head()

計(jì)算總體的男女比例：

rate=(data2.groupby(['性別'])['觀察頻數(shù)'].sum()/data2.groupby(['性別'])['觀察頻數(shù)'].sum().sum()).reset_index()
rate.columns=['性別','rate']
rate

計(jì)算各組用戶總數(shù)：

group_sum=data2.groupby(['組別'])['觀察頻數(shù)'].sum().reset_index()
group_sum.columns=['組別','組內(nèi)用戶數(shù)']
group_sum

計(jì)算卡方值：

import math
data3=pd.merge(data2,group_sum,on=['組別'],how='left')
data3=pd.merge(data3,rate,on=['性別'],how='left')
data3['期望頻數(shù)']=data3['組內(nèi)用戶數(shù)']*data3['rate']
data3['卡方值']=data3.apply(lambda x: math.pow((x.期望頻數(shù)-x.觀察頻數(shù)),2)/x.期望頻數(shù),axis=1)
data3.head()

本案例的自由度為(10-1)*(2-1)=9,選取顯著性水平為0.05，查卡方分布表得臨界值為18.31
因?yàn)?.01<18.31,所以不能拒絕原假設(shè)，即各組的性別分布不存在顯著性差異。

到此這篇關(guān)于python驗(yàn)證多組數(shù)據(jù)之間有無(wú)顯著差異的文章就介紹到這了,更多相關(guān)python驗(yàn)證多組數(shù)據(jù)之間有無(wú)顯著差異內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: