快捷導(dǎo)航

Pytorch實(shí)現(xiàn)ResNet網(wǎng)絡(luò)之Residual Block殘差塊

更新時(shí)間：2023年04月21日 14:51:01 作者：實(shí)力

這篇文章主要為大家介紹了Pytorch實(shí)現(xiàn)ResNet網(wǎng)絡(luò)之Residual Block殘差塊實(shí)現(xiàn)示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪

Residual Block

ResNet中最重要的組件是殘差塊（residual block），也稱為殘差單元（residual unit）。一個(gè)標(biāo)準(zhǔn)的殘差塊包含兩層卷積層和一條跳過(guò)連接（skip connection），如下

假設(shè)輸入x的大小為F×H×W，其中FFF表示通道數(shù)，H和W分別表示高度和寬度。那么通過(guò)殘差塊后輸出的特征圖的大小仍然是F×H×W。

跳過(guò)連接能夠使得該層網(wǎng)絡(luò)可以直接通過(guò)進(jìn)行恒等映射（identity mapping）來(lái)優(yōu)化模型，并避免反激化迫使網(wǎng)絡(luò)退化。即殘差塊應(yīng)該學(xué)習(xí)到輸入數(shù)據(jù)和輸出數(shù)據(jù)的差異，而不是完全復(fù)制輸入數(shù)據(jù)。

實(shí)現(xiàn)一個(gè)殘差塊

代碼如下所示：

import torch.nn as nn

class ResidualBlock(nn.Module):
    def __init__(self, in_channels, out_channels, stride=1):
        super().__init__()
        
        self.conv1 = nn.Conv2d(in_channels, out_channels, kernel_size=3, stride=stride, padding=1, bias=False)
        self.bn1 = nn.BatchNorm2d(out_channels)
        self.relu = nn.ReLU(inplace=True)
        self.conv2 = nn.Conv2d(out_channels, out_channels, kernel_size=3, stride=1, padding=1, bias=False)
        self.bn2 = nn.BatchNorm2d(out_channels)
        
        self.shortcut = nn.Sequential()
        if in_channels != out_channels or stride != 1:
            self.shortcut = nn.Sequential(
                nn.Conv2d(in_channels, out_channels, kernel_size=1, stride=stride, bias=False),
                nn.BatchNorm2d(out_channels))
        
    def forward(self, x):
        residual = x
        
        x = self.conv1(x)
        x = self.bn1(x)
        x = self.relu(x)
        
        x = self.conv2(x)
        x = self.bn2(x)
        
        shortcut = self.shortcut(residual)
        x += shortcut
        x = self.relu(x)
        
        return x

這段代碼定義了一個(gè)繼承自nn.Module的殘差塊。在初始化過(guò)程中，我們定義了兩個(gè)卷積層、兩個(gè)批標(biāo)準(zhǔn)化（batch normalization）層以及一個(gè)恒等映射短連接（shortcut）。其中第二個(gè)卷積層的輸入通道數(shù)必須與輸出通道數(shù)相同。

在forward函數(shù)中，我們首先將輸入數(shù)據(jù)xxx保存到一個(gè)變量residual中。然后將xxx通過(guò)第一個(gè)卷積層、批標(biāo)準(zhǔn)化以及ReLU激活函數(shù)，再通過(guò)第二個(gè)卷積層和批標(biāo)準(zhǔn)化。

默認(rèn)情況下，跳過(guò)連接是一個(gè)恒等映射，即僅將輸入數(shù)據(jù)復(fù)制并直接加到輸出數(shù)據(jù)上。如果輸入的通道數(shù)與輸出的通道數(shù)不同，或者在卷積操作中改變了特征圖的大?。╯tride > 1），則需要對(duì)輸入進(jìn)行適當(dāng)?shù)奶幚硪耘c輸出相匹配。我們使用1×1卷積層（又稱為“投影級(jí)”）來(lái)改變大小和通道數(shù)，并將其添加到shortcut`, 確保整個(gè)殘差塊拓?fù)渲卸寄軌蛘_地實(shí)現(xiàn)殘差學(xué)習(xí)。

以上就是Pytorch實(shí)現(xiàn)ResNet網(wǎng)絡(luò)之Residual Block殘差塊的詳細(xì)內(nèi)容，更多關(guān)于Pytorch ResNet殘差塊的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！

您可能感興趣的文章: