快捷導(dǎo)航

PyTorch 激活函數(shù)的實(shí)現(xiàn)示例

更新時(shí)間：2025年12月24日 09:10:00 作者：byxdaz

激活函數(shù)是神經(jīng)網(wǎng)絡(luò)中至關(guān)重要的組成部分,本文就來詳細(xì)的介紹一下PyTorch常用的激活函數(shù),文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧

激活函數(shù)是神經(jīng)網(wǎng)絡(luò)中至關(guān)重要的組成部分，它們?yōu)榫W(wǎng)絡(luò)引入了非線性特性，使得神經(jīng)網(wǎng)絡(luò)能夠?qū)W習(xí)復(fù)雜模式。PyTorch 提供了多種常用的激活函數(shù)實(shí)現(xiàn)。

常用激活函數(shù)

1. ReLU (Rectified Linear Unit)

數(shù)學(xué)表達(dá)式:

PyTorch實(shí)現(xiàn):

torch.nn.ReLU(inplace=False)

特點(diǎn):

計(jì)算簡單高效
解決梯度消失問題（正區(qū)間）
可能導(dǎo)致"神經(jīng)元死亡"（負(fù)區(qū)間梯度為0），ReLU 在輸入為負(fù)時(shí)輸出恒為 0，導(dǎo)致反向傳播中梯度消失，相關(guān)權(quán)重?zé)o法更新‌14。若神經(jīng)元長期處于負(fù)輸入狀態(tài)，則會(huì)永久“死亡”，失去學(xué)習(xí)能力‌。

示例:

relu = nn.ReLU()
input = torch.tensor([-1.0, 0.0, 1.0, 2.0])
output = relu(input)  # tensor([0., 0., 1., 2.])

2. LeakyReLU

數(shù)學(xué)表達(dá)式:

PyTorch實(shí)現(xiàn):

torch.nn.LeakyReLU(negative_slope=0.01, inplace=False)

特點(diǎn):

解決了ReLU的"神經(jīng)元死亡"問題，通過引入負(fù)區(qū)間的微小斜率（如 torch.nn.LeakyReLU(negative_slope=0.01)），保留負(fù)輸入的梯度傳播，避免神經(jīng)元死亡‌。
negative_slope通常設(shè)為0.01

示例

leaky_relu = nn.LeakyReLU(negative_slope=0.1)
input = torch.tensor([-1.0, 0.0, 1.0, 2.0])
output = leaky_relu(input)  # tensor([-0.1000, 0.0000, 1.0000, 2.0000])

3. Sigmoid

數(shù)學(xué)表達(dá)式:

PyTorch實(shí)現(xiàn):

torch.nn.Sigmoid()

特點(diǎn):

輸出范圍(0,1)，適合二分類問題
容易出現(xiàn)梯度消失問題
輸出不以0為中心

示例:

sigmoid = nn.Sigmoid()
input = torch.tensor([-1.0, 0.0, 1.0, 2.0])
output = sigmoid(input)  # tensor([0.2689, 0.5000, 0.7311, 0.8808])

4. Tanh (Hyperbolic Tangent)

數(shù)學(xué)表達(dá)式:

PyTorch實(shí)現(xiàn):

torch.nn.Tanh()

特點(diǎn):

輸出范圍(-1,1)，以0為中心
比sigmoid梯度更強(qiáng)
仍存在梯度消失問題

示例:

tanh = nn.Tanh()
input = torch.tensor([-1.0, 0.0, 1.0, 2.0])
output = tanh(input)  # tensor([-0.7616, 0.0000, 0.7616, 0.9640])

5. Softmax

數(shù)學(xué)表達(dá)式:

PyTorch實(shí)現(xiàn):

torch.nn.Softmax(dim=None)

特點(diǎn):

輸出為概率分布（和為1）
常用于多分類問題的輸出層
dim參數(shù)指定計(jì)算維度

示例:

softmax = nn.Softmax(dim=1)
input = torch.tensor([[1.0, 2.0, 3.0]])
output = softmax(input)  # tensor([[0.0900, 0.2447, 0.6652]])

其他激活函數(shù)

6. ELU (Exponential Linear Unit)

torch.nn.ELU(alpha=1.0, inplace=False)

7. GELU (Gaussian Error Linear Unit)

torch.nn.GELU()

8. Swish

class Swish(nn.Module):
    def forward(self, x):
        return x * torch.sigmoid(x)

選擇指南

隱藏層：通常首選ReLU及其變體（LeakyReLU、ELU等）
二分類輸出層：Sigmoid
多分類輸出層：Softmax
需要負(fù)輸出的情況：Tanh或LeakyReLU
Transformer模型：常用GELU

自定義激活函數(shù)

PyTorch可以輕松實(shí)現(xiàn)自定義激活函數(shù)：

class CustomActivation(nn.Module):
    def __init__(self):
        super().__init__()
    
    def forward(self, x):
        return torch.where(x > 0, x, torch.exp(x) - 1)