快捷導(dǎo)航

python解釋模型庫Shap實(shí)現(xiàn)機(jī)器學(xué)習(xí)模型輸出可視化

更新時(shí)間：2021年11月22日 16:15:04 作者：Python學(xué)習(xí)與數(shù)據(jù)挖掘

Shap 是一個(gè)開源的 python 庫，用于解釋模型。它可以創(chuàng)建多種類型的可視化，有助于了解模型和解釋模型是如何工作的。在本文中，我們將會(huì)分享一些Shap創(chuàng)建的不同類型的機(jī)器學(xué)習(xí)模型可視化

安裝所需的庫

使用pip安裝Shap開始。下面給出的命令可以做到這一點(diǎn)。

pip install shap

導(dǎo)入所需庫

在這一步中，我們將導(dǎo)入加載數(shù)據(jù)、創(chuàng)建模型和創(chuàng)建該模型的可視化所需的庫。

df = pd.read_csv('/content/Diabetes.csv')
features = ['Pregnancies', 'Glucose','BloodPressure','SkinThickness','Insulin','BMI','DiabetesPedigreeFunction','Age']
Y = df['Outcome']
X =  df[features]
X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size = 0.2, random_state = 1234)
xgb_model = xgb.XGBRegressor(random_state=42)
xgb_model.fit(X_train, Y_train)

創(chuàng)建模型

在這一步中，我們將創(chuàng)建機(jī)器學(xué)習(xí)模型。在本文中，我將創(chuàng)建一個(gè)XGBoost模型，但是你可以選擇任何模型。我們將用于此模型的數(shù)據(jù)集是著名的糖尿病數(shù)據(jù)集，可從Kaggle下載。

df = pd.read_csv('/content/Diabetes.csv')
features = ['Pregnancies', 'Glucose','BloodPressure','SkinThickness','Insulin','BMI','DiabetesPedigreeFunction','Age']
Y = df['Outcome']
X =  df[features]
X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size = 0.2, random_state = 1234)
xgb_model = xgb.XGBRegressor(random_state=42)
xgb_model.fit(X_train, Y_train)

創(chuàng)建可視化

現(xiàn)在我們將為shap創(chuàng)建解釋程序，找出模型的shape值，并使用它們創(chuàng)建可視化效果。

explainer = shap.Explainer(xgb_model)
shap_values = explainer(X_test)

1、Bar Plot

shap.plots.bar(shap_values, max_display=10)

2、隊(duì)列圖

shap.plots.bar(shap_values.cohorts(2).abs.mean(0))

3、熱圖

shap.plots.heatmap(shap_values[1:100])

4、瀑布圖

shap.plots.waterfall(shap_values[0]) # For the first observation

5、力圖

shap.initjs()
explainer = shap.TreeExplainer(xgb_model)
shap_values = explainer.shap_values(X_test)
def p(j):
    return(shap.force_plot(explainer.expected_value, shap_values[j,:], X_test.iloc[j,:]))
p(0)

6、決策圖

shap_values = explainer.shap_values(X_test)[1]
print("The expected value is ", expected_value)
print("The final prediction is ", xgb_model.predict(X_test)[1])
shap.decision_plot(expected_value, shap_values, X_test)