前言

相關(guān)性分析算是很多算法以及建模的基礎(chǔ)知識之一了，十分經(jīng)典。關(guān)于許多特征關(guān)聯(lián)關(guān)系以及相關(guān)趨勢都可以利用相關(guān)性分析計算表達。其中常見的相關(guān)性系數(shù)就有三種：person相關(guān)系數(shù)，spearman相關(guān)系數(shù)，Kendall's tau-b等級相關(guān)系數(shù)。各有各自的用法和使用場景。當然關(guān)于這以上三種相關(guān)系數(shù)的計算算法和原理+代碼我都會在我專欄里面寫齊全。目前關(guān)于數(shù)學建模的專欄已經(jīng)將傳統(tǒng)的機器學習預測算法、維度算法、時序預測算法和權(quán)重算法寫的七七八八了，有這個需求興趣的同學可以去看看。 皮爾遜相關(guān)性分析一文詳解+python實例代碼

一、定義

經(jīng)常用希臘字母ρ表示。 它是衡量兩個變量的依賴性的非參數(shù)指標。 它利用單調(diào)方程評價兩個統(tǒng)計變量的相關(guān)性。 如果數(shù)據(jù)中沒有重復值， 并且當兩個變量完全單調(diào)相關(guān)時，斯皮爾曼相關(guān)系數(shù)則為+1或−1。斯皮爾曼相關(guān)系數(shù)被定義成等級變量之間的皮爾遜相關(guān)系數(shù)。對于樣本容量為n的樣本，n個原始數(shù)據(jù)被轉(zhuǎn)換成等級數(shù)據(jù)，相關(guān)系數(shù)ρ為：

其中，di為Xi和Yi之間的等級差。 di的計算方式為：

二、斯皮爾曼相關(guān)使用場景

斯皮爾曼相關(guān)系數(shù)的適用條件比皮爾遜相關(guān)系數(shù)要廣，只需兩個變量的觀測值是成對的等級評定數(shù)據(jù)，或者是由連續(xù)變量觀測數(shù)據(jù)轉(zhuǎn)化得到的等級數(shù)據(jù)，不論兩個變量的總體分布形態(tài)、樣本容量的大小如何，都可以用斯皮爾曼等級相關(guān)系數(shù)來進行研究。只要數(shù)據(jù)滿足單調(diào)關(guān)系（例如線性函數(shù)、指數(shù)函數(shù)、對數(shù)函數(shù)等）就能夠使用。

斯皮爾曼相關(guān)系數(shù)對于異常值不太敏感，因為它基于排序位次進行計算，實際數(shù)值之間的差異大小對于計算結(jié)果沒有直接影響。

三、斯皮爾曼相關(guān)系數(shù)計算

和上期文章使用的函數(shù)一樣，可以使用pandas的函數(shù)corr：

DataFrame.corr(method='pearson', 
               min_periods=1,
               numeric_only=_NoDefault.no_default)

參數(shù)說明：

method： {‘pearson’, ‘kendall’, ‘spearman’} or callable。Method of correlation。

• pearson : standard correlation coefficient，皮爾遜系數(shù)
• kendall ： Kendall Tau correlation coefficient，肯德爾系數(shù)
• spearman ：Spearman rank correlation，斯皮爾曼系數(shù)

min_periods：int, optional。每對列所需的最小樣本數(shù)。目前僅適用于Pearson和Spearman相關(guān)性。

numeric_only：bool, default True。僅包含浮點、整型或布爾型數(shù)據(jù)。

實現(xiàn)起來很簡單

rho =df_test.corr(method='spearman')
rho

熱力圖

plt.rcParams['font.family'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False
sns.heatmap(rho, annot=True)
plt.title('Heat Map', fontsize=18)

或者使用scipy的state函數(shù)，效果是一樣的：

import numpy as np
from scipy import stats
stats.spearmanr(data1,data2)

四、斯皮爾曼相關(guān)系數(shù)的假設(shè)檢驗

分為兩種情況：小樣本和大樣本

小樣本情況（n ≤ 30），直接查臨界值表H0：rs = 0； H1：rs ≠ 0

使用得出的斯皮爾曼相關(guān)系數(shù) r 與對應的臨界值進行比較。

大樣本情況下，統(tǒng)計量

 H0：rs = 0； H1：rs ≠ 0，計算檢驗值z*，并求出對應的p值與0.05比較即可。

以上就是python斯皮爾曼spearman相關(guān)性分析實例的詳細內(nèi)容，更多關(guān)于python spearman相關(guān)性分析的資料請關(guān)注腳本之家其它相關(guān)文章！

最新評論