正文

本文將介紹模型性能分析的兩個方法：ROC & AUC。

ROC 分析和曲線下面積 (AUC) 是數(shù)據(jù)科學(xué)中廣泛使用的工具，借鑒了信號處理，用于評估不同參數(shù)化下模型的質(zhì)量，或比較兩個或多個模型的性能。

傳統(tǒng)的性能指標，如準確率和召回率，在很大程度上依賴于正樣本的觀察。因此，ROC 和 AUC 使用真陽性率和假陽性率來評估質(zhì)量，同時考慮到正面和負面觀察結(jié)果。

從分解問題到使用機器學(xué)習(xí)解決問題的過程有多個步驟。它涉及數(shù)據(jù)收集、清理和特征工程、構(gòu)建模型，最后是，評估模型性能。

當(dāng)您評估模型的質(zhì)量時，通常會使用精度和召回率等指標，也分別稱為數(shù)據(jù)挖掘領(lǐng)域的置信度和靈敏度。

這些指標將預(yù)測值與通常來自保留集的實際觀察值進行比較，使用混淆矩陣進行可視化。

讓我們首先關(guān)注精度，也稱為陽性預(yù)測值。使用混淆矩陣，您可以將 Precision 構(gòu)建為所有真實陽性與所有預(yù)測陽性的比率。

召回率，也稱為真陽性率，表示真陽性與觀察到的和預(yù)測的所有陽性的比率。

使用混淆矩陣中的不同觀察集來描述 Precision 和 Recall，您可以開始了解這些指標如何提供模型性能的視圖。

值得注意的是 Precision 和 Recall 只關(guān)注正例和預(yù)測，而不考慮任何負例。此外，他們不會將模型的性能與中值場景進行比較，中值場景只是隨機猜測。

1. ROC 曲線

ROC 作為匯總工具，用于可視化 Precision 和 Recall 之間的權(quán)衡。ROC 分析使用 ROC 曲線來確定二進制信號的值有多少被噪聲污染，即隨機性。它為連續(xù)預(yù)測器提供了一系列操作點的靈敏度和特異性摘要。ROC 曲線是通過繪制 x 軸上的假陽性率與 y 軸上的真陽性率來獲得的。

由于真陽性率是檢測信號的概率，而假陽性率是誤報的概率，因此 ROC 分析也廣泛用于醫(yī)學(xué)研究，以確定可靠地檢測疾病或其他行為的閾值。

一個完美的模型將具有等于 1 的誤報率和真陽性率，因此它將是 ROC 圖左上角的單個操作點。而最差的可能模型將在 ROC 圖的左下角有一個單一的操作點，其中誤報率等于 1，真陽性率等于 0。

隨機猜測模型有 50% 的機會正確預(yù)測結(jié)果，因此假陽性率將始終等于真陽性率。這就是為什么圖中有一條對角線，代表檢測信號與噪聲的概率為 50/50。

2. AUC 面積

要全面分析 ROC 曲線并將模型的性能與其他幾個模型進行比較，您實際上需要計算曲線下面積 (AUC)，在文獻中也稱為 c 統(tǒng)計量。曲線下面積 (AUC) 的值介于 0 和 1 之間，因為曲線繪制在 1x1 網(wǎng)格上，并且與信號理論平行，它是信號可檢測性的度量。

這是一個非常有用的統(tǒng)計數(shù)據(jù)，因為它可以讓我們了解模型對真實觀察結(jié)果和錯誤觀察結(jié)果的排名有多好。它實際上是 Wilcoxon-Mann-Whitney 秩和檢驗的歸一化版本，它檢驗零假設(shè)，其中兩個有序測量樣本是從單個分布 中抽取的。

要繪制 ROC 曲線并計算曲線下面積 (AUC)，您決定使用 SckitLearn 的 RocCurveDisplay 方法并將多層感知器與隨機森林模型進行比較，以嘗試解決相同的分類任務(wù)。

import matplotlib.pyplot as plt
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import roc_auc_score, RocCurveDisplay
def plot_roc(model, test_features, test_targets):
    """
    Plotting the ROC curve for a given Model and the ROC curve for a Random Forests Models
    """
    # comparing the given model with a Random Forests model
    random_forests_model = RandomForestClassifier(random_state=42)
    random_forests_model.fit(train_features, train_targets)
    rfc_disp = RocCurveDisplay.from_estimator(random_forests_model, test_features, test_targets)
    model_disp = RocCurveDisplay.from_estimator(model, test_features, test_targets, ax=rfc_disp.ax_)
    model_disp.figure_.suptitle("ROC curve: Multilayer Perceptron vs Random Forests")
    plt.show()
# using perceptron model as input
plot_roc(ml_percetron_model, test_features, test_targets)

歡迎Star -> 學(xué)習(xí)目錄

以上就是python模型性能ROC和AUC分析詳解的詳細內(nèi)容，更多關(guān)于python模型性能ROC AUC的資料請關(guān)注腳本之家其它相關(guān)文章！

最新評論