通過約束類的協(xié)方差相等，將貝葉斯分類器簡化為線性分類器。
比較生成模型和判別模型在挑戰(zhàn)性分類任務(wù)中的性能。

在本實驗課中：我們將比較線性分類的“生成建模”和“判別建模”方法。對于“生成”方法，我們將重新討論我們在前面練習(xí)中使用的貝葉斯分類代碼，但我們將限制系統(tǒng)具有相等的協(xié)方差矩陣，即一個協(xié)方差矩陣來表示所有類別，而不是每個類別都有其自己的協(xié)方差矩陣。在這種情況下，系統(tǒng)成為線性分類器。我們將把它與“判別式”方法進(jìn)行比較，在這種方法中，我們使用感知器學(xué)習(xí)算法直接學(xué)習(xí)線性分類器參數(shù)。

在本筆記本中，我們將使用UCI機(jī)器學(xué)習(xí)庫中的另一個數(shù)據(jù)集：鮑魚數(shù)據(jù)。鮑魚是一種海螺。一個樣本的年齡可以通過在圓錐體上切割外殼和用顯微鏡（更像是樹木）計數(shù)環(huán)來確定，但這是一個耗時且昂貴的過程。這里的任務(wù)是通過簡單的外部測量動物的重量和尺寸，嘗試并預(yù)測環(huán)的數(shù)量。對于我們正在使用的數(shù)據(jù)集，環(huán)數(shù)的真實值是已知的（即，在測量蝸牛后對環(huán)進(jìn)行計數(shù)）。結(jié)果從1到29個環(huán)不等，因此這通常被視為29類分類問題。為了簡化一些，我將數(shù)據(jù)重新組合成兩個大小大致相同的類：年輕（少于10個環(huán)）和老年（10個或更多個環(huán)）。我也只采集了女性樣本。有7個測量值（都是高度相關(guān)的）用于預(yù)測類別標(biāo)簽。

生成性建模：具有等協(xié)變多元正態(tài)分布的貝葉斯分類。
與上一個介紹相比，有更多的樣本（1306個，178個），因此我們不必?fù)?dān)心遺漏一個測試，相反，我們只需像上一個一樣，將數(shù)據(jù)切割成大小相同的測試和訓(xùn)練集。
通過修改上次編寫的代碼，使用具有完全協(xié)方差矩陣的多元正態(tài)分布來評估貝葉斯分類器的性能。在考慮對代碼進(jìn)行更改時，請注意，主要區(qū)別在于本筆記本中只有兩個類，而不是三個。（如果您愿意，您可以嘗試將代碼包裝到函數(shù)中，看看是否可以將其設(shè)計為適用于任意數(shù)量的類。）
您的分類器的性能如何？此任務(wù)的分?jǐn)?shù)可能在60%-70%之間，因此，如果性能似乎比前一個任務(wù)差很多，請不要擔(dān)心。如果性能低于60%，那么您應(yīng)該檢查代碼是否存在可能的bug。

import numpy as np
X = np.loadtxt(open("data/abalone.txt", "r"))
X.shape
from scipy.stats import multivariate_normal
import matplotlib.pyplot as plt

%matplotlib inline

abalone1 = X[X[:, 0] == 1, :]
abalone2 = X[X[:, 0] == 2, :]
abalone1_test = abalone1[0::2, :]
abalone1_train = abalone1[1::2, :]
abalone2_test = abalone2[0::2, :]
abalone2_train = abalone2[1::2, :]
abalone_test = np.vstack((abalone1_test, abalone2_test))
abalone_test.shape

mean1 = np.mean(abalone1_train[:, 1:], axis=0)
mean2 = np.mean(abalone2_train[:, 1:], axis=0)
cov1 = np.cov(abalone1_train[:, 1:], rowvar=0)
cov2 = np.cov(abalone2_train[:, 1:], rowvar=0)

dist1 = multivariate_normal(mean=mean1, cov=cov1)
dist2 = multivariate_normal(mean=mean2, cov=cov2)

p1 = dist1.pdf(abalone_test[:, 1:])
p2 = dist2.pdf(abalone_test[:, 1:])

p = np.vstack((p1, p2))

index = np.argmax(p, axis=0) + 1

plt.plot(index, "k.", ms=10)

correct = abalone_test[:, 0] == index
percent_correct = np.sum(correct) * 100.0 / index.shape
print(percent_correct)

rowvarbool，可選

如果rowvar為True（默認(rèn)），則每行表示一個變量，列中包含觀察值。否則，關(guān)系將被轉(zhuǎn)換：每列表示一個變量，而行包含觀察值。

使用等協(xié)方差矩陣:

如果您正確地遵循了與上一本筆記相同的步驟，您將為每個類估計出一個單獨(dú)的協(xié)方差矩陣。這些矩陣將不相等，因此您的系統(tǒng)將不是線性分類器（即，它將具有非平面決策邊界）。為了將其簡化為線性系統(tǒng)，我們需要確保只有一個協(xié)方差矩陣。您可以想象這樣做的不

同方式：

首先，您可以想象簡單地從完整的訓(xùn)練集中估計單個協(xié)方差矩陣，然后再將其劃分為類。這將生成一個矩陣，但這不是正確的做法。我們希望矩陣表示類內(nèi)的分布，如果您僅使用完整的訓(xùn)練數(shù)據(jù)集訓(xùn)練模型，它還將捕獲類間的分布。
其次，可以想象平均兩個類相關(guān)協(xié)方差矩陣。這更接近于正確的情況，但它沒有考慮到類的示例數(shù)可能不相等這一事實。
最好的方法是首先將兩個類的中心移動到同一點上，然后將它們視為單個類。要將類中心移動到同一點上，只需從每個數(shù)據(jù)樣本中減去類平均向量。

def centre_data(data):
? ? nsamples = data.shape[0]
? ? data_mean = np.mean(data, axis=0)
? ? data_centred = data - data_mean
? ? return data_centred


abalone1_centred = centre_data(abalone1_train)
abalone2_centred = centre_data(abalone2_train)

abalone_centred = np.vstack((abalone1_centred, abalone2_centred))

cov_global = np.cov(abalone_centred[:, 1:], rowvar=0)

dist1 = multivariate_normal(mean=mean1, cov=cov_global)
dist2 = multivariate_normal(mean=mean2, cov=cov_global)

p1 = dist1.pdf(abalone_test[:, 1:])
p2 = dist2.pdf(abalone_test[:, 1:])

p = np.vstack((p1, p2))

index = np.argmax(p, axis=0) + 1

plt.plot(index, "k.", ms=10)

correct = abalone_test[:, 0] == index
percent_correct = np.sum(correct) * 100.0 / index.shape
print(percent_correct)

到此這篇關(guān)于Python線性分類介紹的文章就介紹到這了,更多相關(guān)Python線性分類內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評論