訓(xùn)練誤差和泛化誤差

訓(xùn)練誤差是指，我們的模型在訓(xùn)練數(shù)據(jù)集上計(jì)算得到的誤差。
泛化誤差是指，我們將模型應(yīng)用在同樣從原始樣本的分布中抽取的無限多的數(shù)據(jù)樣本時(shí)，我們模型誤差的期望。

在實(shí)際中，我們只能通過將模型應(yīng)用于一個(gè)獨(dú)立的測試集來估計(jì)泛化誤差，該測試集由隨機(jī)選取的、未曾在訓(xùn)練集中出現(xiàn)的數(shù)據(jù)樣本構(gòu)成。

模型復(fù)雜性

在本節(jié)中將重點(diǎn)介紹幾個(gè)傾向于影響模型泛化的因素：

可調(diào)整參數(shù)的數(shù)量。當(dāng)可調(diào)整參數(shù)的數(shù)量（有時(shí)稱為自由度）很大時(shí)，模型往往更容易過擬合。參數(shù)采用的值。當(dāng)權(quán)重的取值范圍較大時(shí)，模型可能更容易過擬合。訓(xùn)練樣本的數(shù)量。即使模型非常簡單，也很容易過擬合只包含一兩個(gè)樣本的數(shù)據(jù)集。而過擬合一個(gè)有數(shù)百萬個(gè)樣本的數(shù)據(jù)集則需要一個(gè)極其靈活的模型。

模型選擇

在機(jī)器學(xué)習(xí)中，我們通常在評估幾個(gè)候選模型后選擇最終的模型。這個(gè)過程叫做模型的選擇。有時(shí)，需要進(jìn)行比較的模型在本質(zhì)上是完全不同的（比如，決策樹與線性模型）。又有時(shí)，我們需要比較不同的超參數(shù)設(shè)置下的同一類模型。

例如，訓(xùn)練多層感知機(jī)模型時(shí)，我們可能希望比較具有不同數(shù)量的隱藏層、不同數(shù)量的隱藏單元以及不同的激活函數(shù)組合的模型。為了確定候選模型的最佳模型，我們通常會(huì)使用驗(yàn)證集。

驗(yàn)證集

原則上，在我們確定所有的超參數(shù)之前，我們不應(yīng)該用到測試集。如果我們在模型選擇過程中使用了測試數(shù)據(jù)，可能會(huì)有過擬合測試數(shù)據(jù)的風(fēng)險(xiǎn)。
如果我們過擬合了訓(xùn)練數(shù)據(jù)，還有在測試數(shù)據(jù)上的評估來判斷過擬合。
但是如果我們過擬合了測試數(shù)據(jù)，我們又應(yīng)該怎么知道呢？

我們不能依靠測試數(shù)據(jù)進(jìn)行模型選擇。也不能僅僅依靠訓(xùn)練數(shù)據(jù)來選擇模型，因?yàn)槲覀儫o法估計(jì)訓(xùn)練數(shù)據(jù)的泛化誤差。

解決此問題的常見做法是將我們的數(shù)據(jù)分成三份，除了訓(xùn)練和測試數(shù)據(jù)集之外，還增加一個(gè)驗(yàn)證數(shù)據(jù)集（validation dataset），也叫驗(yàn)證集（validation set）。
但現(xiàn)實(shí)是，驗(yàn)證數(shù)據(jù)和測試數(shù)據(jù)之間的界限非常模糊。在之后實(shí)際上是使用應(yīng)該被正確地稱為訓(xùn)練數(shù)據(jù)和驗(yàn)證數(shù)據(jù)的東西，并沒有真正的測試數(shù)據(jù)集。因此，之后的準(zhǔn)確度都是驗(yàn)證集準(zhǔn)確度，而不是測試集準(zhǔn)確度。

K折交叉驗(yàn)證

當(dāng)訓(xùn)練數(shù)據(jù)稀缺時(shí)，我們甚至可能無法提供足夠的數(shù)據(jù)來構(gòu)成一個(gè)合適的驗(yàn)證集。這個(gè)問題的一個(gè)流行的解決方案是采用 K K K折交叉驗(yàn)證。這里，原始訓(xùn)練數(shù)據(jù)被分成 K個(gè)不重疊的子集。然后執(zhí)行K次模型訓(xùn)練和驗(yàn)證，每次在K−1個(gè)子集上進(jìn)行訓(xùn)練，并在剩余的一個(gè)子集（在該輪中沒有用于訓(xùn)練的子集）上進(jìn)行驗(yàn)證。最后，通過K次實(shí)驗(yàn)的結(jié)果取平均來估計(jì)訓(xùn)練和驗(yàn)證誤差。

欠擬合還是過擬合？

當(dāng)我們比較訓(xùn)練和驗(yàn)證誤差時(shí)，我們要注意兩種常見的情況。
首先，我們要注意這樣的情況：訓(xùn)練誤差和驗(yàn)證誤差都很嚴(yán)重，但它們之間僅有一點(diǎn)差距。如果模型不能降低訓(xùn)練誤差，這可能意味著我們的模型過于簡單（即表達(dá)能力不足），無法捕獲我們試圖學(xué)習(xí)的模式。此外，由于我們的訓(xùn)練和驗(yàn)證誤差之間的泛化誤差很小，我們有理由相信可以用一個(gè)更復(fù)雜的模型降低訓(xùn)練誤差。這種現(xiàn)象被稱為欠擬合。

另一方面，當(dāng)我們的訓(xùn)練誤差明顯低于驗(yàn)證誤差時(shí)要小心，這表明嚴(yán)重的過擬合。注意，過擬合并不總是一件壞事。

我們是否過擬合或欠擬合可能取決于模型的復(fù)雜性和可用數(shù)據(jù)集的大小，這兩個(gè)點(diǎn)將在下面進(jìn)行討論。

模型復(fù)雜性

告誡多項(xiàng)式函數(shù)比低階多項(xiàng)式函數(shù)復(fù)雜得多。高階多項(xiàng)式的參數(shù)較多，模型函數(shù)的選擇范圍較廣。因此在固定訓(xùn)練數(shù)據(jù)集的情況下，高階多項(xiàng)式函數(shù)相對于低階多項(xiàng)式的訓(xùn)練誤差應(yīng)該始終更低（最壞也是相等）。事實(shí)上，當(dāng)數(shù)據(jù)樣本包含了 x的不同取值時(shí)，函數(shù)階數(shù)等于數(shù)據(jù)樣本數(shù)量的多項(xiàng)式函數(shù)可以完美擬合訓(xùn)練集。在下圖中，我們直觀地描述了多項(xiàng)式的階數(shù)和欠擬合與過擬合之間的關(guān)系。

數(shù)據(jù)集大小

訓(xùn)練數(shù)據(jù)集中的樣本越少，我們就越可能（且更嚴(yán)重地）遇到過擬合。隨著訓(xùn)練數(shù)據(jù)量的增加，泛化誤差通常會(huì)減小。此外，一般來說，更多的數(shù)據(jù)不會(huì)有什么壞處。

以上就是Python機(jī)器學(xué)習(xí)pytorch模型選擇及欠擬合和過擬合詳解的詳細(xì)內(nèi)容，更多關(guān)于pytorch模型選擇及欠擬合和過擬合的資料請關(guān)注腳本之家其它相關(guān)文章！

最新評論