class torch.nn.Sequential(* args)

一個(gè)時(shí)序容器。Modules 會(huì)以他們傳入的順序被添加到容器中。當(dāng)然，也可以傳入一個(gè)OrderedDict。

為了更容易的理解如何使用Sequential, 下面給出了一個(gè)例子：

# Example of using Sequential
 
model = nn.Sequential(
     nn.Conv2d(1,20,5),
     nn.ReLU(),
     nn.Conv2d(20,64,5),
     nn.ReLU()
    )
# Example of using Sequential with OrderedDict
model = nn.Sequential(OrderedDict([
     ('conv1', nn.Conv2d(1,20,5)),
     ('relu1', nn.ReLU()),
     ('conv2', nn.Conv2d(20,64,5)),
     ('relu2', nn.ReLU())
    ]))

補(bǔ)充知識(shí)：pytorch 中 torch.optim.Adam 方法的使用和參數(shù)的解釋

class torch.optim.Adam(params, lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0)[source]

實(shí)現(xiàn)Adam算法。

它在Adam: A Method for Stochastic Optimization中被提出。

參數(shù)：

params (iterable) – 待優(yōu)化參數(shù)的iterable或者是定義了參數(shù)組的dict

lr (float, 可選) – 學(xué)習(xí)率（默認(rèn)：1e-3）

betas (Tuple[float, float], 可選) – 用于計(jì)算梯度以及梯度平方的運(yùn)行平均值的系數(shù)（默認(rèn)：0.9，0.999）

eps (float, 可選) – 為了增加數(shù)值計(jì)算的穩(wěn)定性而加到分母里的項(xiàng)（默認(rèn)：1e-8）

weight_decay (float, 可選) – 權(quán)重衰減（L2懲罰）（默認(rèn): 0）

個(gè)人理解：

lr：同樣也稱為學(xué)習(xí)率或步長因子，它控制了權(quán)重的更新比率（如 0.001）。較大的值（如 0.3）在學(xué)習(xí)率更新前會(huì)有更快的初始學(xué)習(xí)，而較小的值（如 1.0E-5）會(huì)令訓(xùn)練收斂到更好的性能。

betas = （beta1，beta2）

beta1：一階矩估計(jì)的指數(shù)衰減率（如 0.9）。

beta2：二階矩估計(jì)的指數(shù)衰減率（如 0.999）。該超參數(shù)在稀疏梯度（如在 NLP 或計(jì)算機(jī)視覺任務(wù)中）中應(yīng)該設(shè)置為接近 1 的數(shù)。

eps：epsilon：該參數(shù)是非常小的數(shù)，其為了防止在實(shí)現(xiàn)中除以零（如 10E-8）。

讀者可結(jié)合官方文檔中的參數(shù)說明和我的個(gè)人理解掌握該函數(shù)的用法。

以上這篇基于pytorch中的Sequential用法說明就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。