pytorch神經(jīng)網(wǎng)絡從零開始實現(xiàn)多層感知機
我們已經(jīng)在數(shù)學上描述了多層感知機，現(xiàn)在讓我們嘗試自己實現(xiàn)一個多層感知機。為了與我們之前使用softmax回歸獲得的結果進行比較，我們將繼續(xù)使用Fashion-MNIST圖像分類數(shù)據(jù)集。
import torch from torch import nn from d2l import torch as d2l
batch_size = 256 train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)
初始化模型參數(shù)
Fashion-MNIST中的每個圖像由 28 × 28 = 784個灰度圖像值組成。所有圖像共分為10個類別。忽略像素之間的空間結構，我們可以將每個圖像視為784個輸入特征和10個類的簡單分類數(shù)據(jù)集。
首先，我們將實現(xiàn)一個具有單隱藏層的多層感知機，它包含256個隱藏單元。注意我們可以將這兩個量都視為超參數(shù)。通常，我們選擇2的若干次冪作為層的寬度。
我們用幾個張量來表示我們的參數(shù)。注意，對于每一層我們都需要記錄一個權重矩陣和一個偏置向量。跟以前一樣，我們要為這些參數(shù)的損失梯度分配內(nèi)存。
num_inputs, num_outputs, num_hiddens = 784, 10, 256 W1 = nn.Parameter(torch.randn( num_inputs, num_hiddens, requires_grad=True) * 0.01) b1 = nn.Parameter(torch.zeros(num_hiddens, requires_grad=True)) W2 = nn.Parameter(torch.randn( num_hiddens, num_outputs, requires_grad=True) * 0.01) b2 = nn.Parameter(torch.zeros(num_outputs, requires_grad=True)) params = [W1, b1, W2, b2]
激活函數(shù)
為了確保我們知道一切是如何工作的，我們將使用最大值函數(shù)自己實現(xiàn)ReLU激活函數(shù)，而不是直接調(diào)用內(nèi)置的relu函數(shù)。
def relu(X): a = torch.zeros_like(X) return torch.max(X, a)
模型
因為我們忽略了空間結構，所示我們使用reshape將每個二維圖像轉換為一個長度為num_inputs的向量。我們只需幾行代碼就可以實現(xiàn)我們的模型。
def net(X): X = X.reshape((-1, num_inputs)) H = relu(X@W1 + b1) # 這里“@”代表矩陣乘法 return (H@W2 + b2)
損失函數(shù)
為了確保數(shù)值的穩(wěn)定性，同時由于我們已經(jīng)從零實現(xiàn)過softmax函數(shù)，因此在這里我們直接使用高級API中的內(nèi)置函數(shù)來計算softmax和交叉熵損失。
loss = nn.CrossEntropyLoss()
訓練
幸運的是，多層感知機的訓練過程與softmax回歸的訓練過程完全相同?？梢灾苯诱{(diào)用d2l包的train_ch3函數(shù)，將迭代周期設置為10，并將學習率設置為0.1。
num_epochs, lr = 10, 0.1 updater = torch.optim.SGD(params, lr=lr) d2l.train_ch3(net, train_iter, test_iter, loss, num_epochs, updater)
為了對學習到的模型進行評估，我們將在一些 測試數(shù)據(jù)上應用這個模型。
d2l.predict_ch3(net, test_iter)
以上就是pytorch神經(jīng)網(wǎng)絡從零開始實現(xiàn)多層感知機的詳細內(nèi)容，更多關于pytorch神經(jīng)網(wǎng)絡多層感知機的資料請關注腳本之家其它相關文章！
相關文章
Python通過Schema實現(xiàn)數(shù)據(jù)驗證方式
這篇文章主要介紹了Python通過Schema實現(xiàn)數(shù)據(jù)驗證方式,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-11-11
這篇文章主要介紹了Python 類的繼承實例詳解的相關資料,需要的朋友可以參考下2017-03-03
本文將介紹如何在Python中進行Redis操作，包括連接Redis、數(shù)據(jù)存儲、數(shù)據(jù)檢索和其他常見操作,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2023-11-11
這篇文章主要為大家詳細介紹了python實現(xiàn)郵件發(fā)送功能，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-08-08
這篇文章主要介紹了一些Python中的隱藏特性,從stackoverflow的人氣問題回答中整理而來，主要以代碼實際解釋說明，需要的朋友可以參考下2015-03-03
這篇文章主要介紹了Python如何實現(xiàn)數(shù)字的格式化輸出，文中講解非常細致，代碼幫助大家更好的理解和學習，感興趣的朋友可以了解下2020-08-08
這篇文章主要介紹了Python基于PycURL實現(xiàn)POST的方法,涉及Python實現(xiàn)curl傳遞post數(shù)據(jù)的技巧,具有一定參考借鑒價值,需要的朋友可以參考下2015-07-07
相信每位python都知道，進行不同的python項目開發(fā)，有的時候會遇到這樣的情況：python 版本不一樣，使用的軟件包版本不一樣。這種問題最佳的解決辦法是為不同的項目搭建獨立的 python 環(huán)境。下面來一起看看吧。2016-09-09
pandas對dataFrame中某一個列的數(shù)據(jù)進行處理的方法
這篇文章主要介紹了pandas對dataFrame中某一個列的數(shù)據(jù)進行處理的方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-07-07
python 辦公自動化——基于pyqt5和openpyxl統(tǒng)計符合要求的名單
前幾天接到的一個需求，因為學校給的名單是青年大學習已學習的名單，然而要知道未學習的名單只能從所有團員中再排查一次，過程相當麻煩。剛好我也學過一些操作辦公軟件的基礎，再加上最近在學pyqt5，所以我決定用python寫個自動操作文件的腳本給她用用。2021-05-05