Pytorch 的 LSTM 模型的示例教程
1. 代碼
完整的源代碼：
import torch
from torch import nn
# 定義一個LSTM模型
class LSTM(nn.Module):
def __init__(self, input_size, hidden_size, num_layers, output_size):
super(LSTM, self).__init__()
self.hidden_size = hidden_size
self.num_layers = num_layers
self.lstm = nn.LSTM(input_size, hidden_size, num_layers, batch_first=True)
self.fc = nn.Linear(hidden_size, output_size)
def forward(self, x):
# 初始化隱藏狀態(tài)h0, c0為全0向量
h0 = torch.zeros(self.num_layers, x.size(0), self.hidden_size).to(x.device)
c0 = torch.zeros(self.num_layers, x.size(0), self.hidden_size).to(x.device)
# 將輸入x和隱藏狀態(tài)(h0, c0)傳入LSTM網(wǎng)絡
out, _ = self.lstm(x, (h0, c0))
# 取最后一個時間步的輸出作為LSTM網(wǎng)絡的輸出
out = self.fc(out[:, -1, :])
return out
# 定義LSTM超參數(shù)
input_size = 10 # 輸入特征維度
hidden_size = 32 # 隱藏單元數(shù)量
num_layers = 2 # LSTM層數(shù)
output_size = 2 # 輸出類別數(shù)量
# 構建一個隨機輸入x和對應標簽y
x = torch.randn(64, 5, 10) # [batch_size, sequence_length, input_size]
y = torch.randint(0, 2, (64,)) # 二分類任務，標簽為0或1
# 創(chuàng)建LSTM模型，并將輸入x傳入模型計算預測輸出
lstm = LSTM(input_size, hidden_size, num_layers, output_size)
pred = lstm(x) # [batch_size, output_size]
# 定義損失函數(shù)和優(yōu)化器，并進行模型訓練
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(lstm.parameters(), lr=1e-3)
num_epochs = 100
for epoch in range(num_epochs):
# 前向傳播計算損失函數(shù)值
pred = lstm(x) # 在每個epoch中重新計算預測輸出
loss = criterion(pred.squeeze(), y)
# 反向傳播更新模型參數(shù)
optimizer.zero_grad()
loss.backward()
optimizer.step()
# 輸出每個epoch的訓練損失
print(f"Epoch [{epoch+1}/{num_epochs}], Loss: {loss.item():.4f}")2. 模型結構分析
# 定義一個LSTM模型
class LSTM(nn.Module):
def __init__(self, input_size, hidden_size, num_layers, output_size):
super(LSTM, self).__init__()
self.hidden_size = hidden_size
self.num_layers = num_layers
self.lstm = nn.LSTM(input_size, hidden_size, num_layers, batch_first=True)
self.fc = nn.Linear(hidden_size, output_size)
def forward(self, x):
# 初始化隱藏狀態(tài)h0, c0為全0向量
h0 = torch.zeros(self.num_layers, x.size(0), self.hidden_size).to(x.device)
c0 = torch.zeros(self.num_layers, x.size(0), self.hidden_size).to(x.device)
# 將輸入x和隱藏狀態(tài)(h0, c0)傳入LSTM網(wǎng)絡
out, _ = self.lstm(x, (h0, c0))
# 取最后一個時間步的輸出作為LSTM網(wǎng)絡的輸出
out = self.fc(out[:, -1, :])
return out上述代碼定義了一個LSTM類，這個類可以用于完成一個基于LSTM的序列模型的搭建。
在初始化函數(shù)中，輸入的參數(shù)分別是輸入數(shù)據(jù)的特征維度（input_size），隱藏層的大小（hidden_size），LSTM層數(shù)（num_layers）以及輸出數(shù)據(jù)的維度（output_size）。這里使用batch_first=True表示輸入數(shù)據(jù)的第一個維度是batch size，第二個維度是時間步長和特征維度。
在forward函數(shù)中，首先初始化了LSTM網(wǎng)絡的隱藏狀態(tài)為全0向量，并且將其移動到與輸入數(shù)據(jù)相同的設備上。然后調用了nn.LSTM函數(shù)進行前向傳播操作，并且通過fc層將最后一個時間步的輸出映射為輸出的數(shù)據(jù)，最后進行了返回。
3. 代碼詳解
# 將輸入x和隱藏狀態(tài)(h0, c0)傳入LSTM網(wǎng)絡
out, _ = self.lstm(x, (h0, c0))這行代碼是利用 PyTorch 自帶的 LSTM 模塊處理輸入張量 x（形狀為 [batch_size, sequence_length, input_size]）并得到 LSTM 層的輸出 out 和最終狀態(tài)。其中，h0 是 LSTM 層的初始隱藏狀態(tài)，c0 是 LSTM 層的初始細胞狀態(tài)。
在代碼中，調用了 self.lstm(x, (h0, c0)) 函數(shù)，該函數(shù)的返回值有兩個：第一個返回值是 LSTM 層的輸出 out，其包含了所有時間步上的隱狀態(tài)；第二個返回值是一個元組，包含了最后一個時間步的隱藏狀態(tài)和細胞狀態(tài)，但我們用“_”丟棄了它。
因為對于許多深度學習任務來說，只需要輸出序列的最后一個時間步的隱藏狀態(tài)，而不需要每個時間步上的隱藏狀態(tài)。因此，這里我們只保留 LSTM 層的輸出 out，而忽略了 LSTM 層最后時間步的狀態(tài)。
最后，out 的形狀為 [batch_size, sequence_length, hidden_size]，其中 hidden_size 是 LSTM 層輸出的隱藏狀態(tài)的維度大小。
x = torch.randn(64, 5, 10)
這行代碼創(chuàng)建了一個形狀為 (64, 5, 10) 的張量 x，它包含 64 個樣本，每個樣本具有 5 個特征維度和 10 個時間步。該張量的值是由均值為 0，標準差為 1 的正態(tài)分布隨機生成的。
torch.randn() 是 PyTorch 中生成服從標準正態(tài)分布的隨機數(shù)的函數(shù)。它的輸入是張量的形狀，輸出是符合正態(tài)分布的張量。在本例中，形狀為 (64, 5, 10) 表示該張量包含 64 個樣本，每個樣本包含 5 個特征維度和 10 個時間步，每個元素都是服從標準正態(tài)分布的隨機數(shù)。這種方式生成的隨機數(shù)可以用于初始化模型參數(shù)、生成噪音數(shù)據(jù)等許多深度學習應用場景。
y = torch.randint(0, 2, (64,)) # 二分類任務，標簽為0或1
y = torch.randint(0, 2, (64,)) 是使用 PyTorch 庫中的 randint() 函數(shù)來生成一個64個元素的張量 y，張量的每個元素都是從區(qū)間 [0, 2) 中隨機生成的整數(shù)。
具體而言，torch.randint() 函數(shù)包含三個參數(shù)，分別是 low、high 和 size。其中，low 和 high 分別表示隨機生成整數(shù)的區(qū)間為 [low, high)，而 size 參數(shù)指定了生成的張量的形狀。
在上述代碼中，size=(64,) 表示生成的張量 y 的形狀為 64x1，即一個包含 64 個元素的一維張量，并且每個元素的值都在 [0, 2) 中隨機生成。這種形式的張量通常用于分類問題中的標簽向量。在該任務中，一個標簽通常由一個整數(shù)表示，因此可以采用使用 randint() 函數(shù)生成一個長度為標簽類別數(shù)的一維張量，其每個元素的取值為 0 或 1，表示對應類別是否被選中。
# 創(chuàng)建LSTM模型，并將輸入x傳入模型計算預測輸出 lstm = LSTM(input_size, hidden_size, num_layers, output_size) pred = lstm(x) # [batch_size, output_size]
通過定義的LSTM類創(chuàng)建了一個LSTM模型，并將輸入x傳入模型進行前向計算，得到了一個預測輸出pred，其形狀為[64, output_size]，其中output_size是在LSTM初始化函數(shù)中指定的輸出數(shù)據(jù)的維度。
這段代碼演示了如何使用已經(jīng)構建好的代碼搭建并訓練一個基于LSTM的序列模型，并且展示了其中的一些關鍵步驟，包括數(shù)據(jù)輸入、模型創(chuàng)建以及前向計算。
到此這篇關于Pytorch 的 LSTM 模型的簡單示例的文章就介紹到這了,更多相關Pytorch LSTM 模型內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
python實現(xiàn)優(yōu)雅的打印json格式文本
這篇文章主要介紹了python實現(xiàn)優(yōu)雅的打印json格式文本方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-08-08
這篇文章主要介紹了Python 實現(xiàn)平臺類游戲添加跳躍功能,，本文通過實例代碼給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-03-03
前段時間,公司高層要看上半年度項目組業(yè)績數(shù)據(jù)分析,沒辦法,硬著頭皮也要上！說到數(shù)據(jù)分析,肯定離不開數(shù)據(jù)的可視化,畢竟圖表比冷冰冰的數(shù)字更加直觀,Boss只想一眼就能看出趨勢和結論.今天我們就聊一聊 pyecharts 中幾種常用的圖表, ,需要的朋友可以參考下2021-06-06
本文將詳細介紹如何使用?Python?連接和操作?Elasticsearch,包括安裝客戶端、基本的操作（如創(chuàng)建索引、添加數(shù)據(jù)、查詢數(shù)據(jù)等）以及高級應用（如聚合查詢、索引映射等）,需要的朋友可以參考下2025-04-04
如何在windows下安裝Pycham2020軟件(方法步驟詳解)
這篇文章主要介紹了在windows下安裝Pycham2020軟件方法，本文通過圖文并茂的形式給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下2020-05-05
pip是Python包管理工具,該工具提供了對Python包的查找、下載、安裝、卸載的功能,這篇文章主要給大家介紹了關于Python?pip指定安裝源的相關資料,需要的朋友可以參考下2023-12-12
Web?API是網(wǎng)站的一部分,用于與使用非常具體的URL請求特定信息的程序交互,下面這篇文章主要給大家介紹了關于python實現(xiàn)API的快速調用指南,文中通過示例代碼介紹的非常詳細,需要的朋友可以參考下2022-05-05
今天小編就為大家分享一篇python 獲取字符串MD5值方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-05-05
這篇文章主要介紹了Flask-Mail用法,結合實例形式分析了Flask-Mail的安裝、配置參數(shù)及簡單使用技巧,需要的朋友可以參考下2018-07-07
下面小編就為大家?guī)硪黄猵ython3.0 模擬用戶登錄,三次錯誤鎖定的實例。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-11-11