快捷導(dǎo)航

YOLOv5改進(jìn)之添加SE注意力機(jī)制的詳細(xì)過程

更新時(shí)間：2022年08月15日 12:15:45 作者：人工智能算法研究院

作為當(dāng)前先進(jìn)的深度學(xué)習(xí)目標(biāo)檢測(cè)算法YOLOv5,已經(jīng)集合了大量的trick,但是還是有提高和改進(jìn)的空間,針對(duì)具體應(yīng)用場(chǎng)景下的檢測(cè)難點(diǎn),可以不同的改進(jìn)方法,下面這篇文章主要給大家介紹了關(guān)于YOLOv5改進(jìn)之添加SE注意力機(jī)制的相關(guān)資料,需要的朋友可以參考下

前言：

作為當(dāng)前先進(jìn)的深度學(xué)習(xí)目標(biāo)檢測(cè)算法YOLOv5，已經(jīng)集合了大量的trick，但是在處理一些復(fù)雜背景問題的時(shí)候，還是容易出現(xiàn)錯(cuò)漏檢的問題。此后的系列文章，將重點(diǎn)對(duì)YOLOv5的如何改進(jìn)進(jìn)行詳細(xì)的介紹，目的是為了給那些搞科研的同學(xué)需要?jiǎng)?chuàng)新點(diǎn)或者搞工程項(xiàng)目的朋友需要達(dá)到更好的效果提供自己的微薄幫助和參考。

解決問題：

加入SE通道注意力機(jī)制，可以讓網(wǎng)絡(luò)更加關(guān)注待檢測(cè)目標(biāo)，提高檢測(cè)效果

SE模塊的原理和結(jié)構(gòu)

添加方法：

第一步：確定添加的位置，作為即插即用的注意力模塊，可以添加到Y(jié)OLOv5網(wǎng)絡(luò)中的任何地方。本文以添加進(jìn)C3模塊中為例。

第二步：common.py構(gòu)建融入se模塊的C3,與原C3模塊不同的是，該模塊中的bottleneck中融入se模塊。這樣添加主要為了更好的做實(shí)驗(yàn)。

class seC3(nn.Module):
    # CSP Bottleneck with 3 convolutions
    def __init__(self, c1, c2, n=1, shortcut=True, g=1, e=0.5):  # ch_in, ch_out, number, shortcut, groups, expansion
        super(seC3, self).__init__()
        c_ = int(c2 * e)  # hidden channels
        self.cv1 = Conv(c1, c_, 1, 1)
        self.cv2 = Conv(c1, c_, 1, 1)
        self.cv3 = Conv(2 * c_, c2, 1)  # act=FReLU(c2)
        self.m = nn.Sequential(*[seBottleneck(c_, c_, shortcut, g, e=1.0) for _ in range(n)])
        # self.m = nn.Sequential(*[CrossConv(c_, c_, 3, 1, g, 1.0, shortcut) for _ in range(n)])
 
    def forward(self, x):
        return self.cv3(torch.cat((self.m(self.cv1(x)), self.cv2(x)), dim=1))
 
class seBottleneck(nn.Module):
    # Standard bottleneck
    def __init__(self, c1, c2, shortcut=True, g=1, e=0.5):  # ch_in, ch_out, shortcut, groups, expansion
        super(seBottleneck, self).__init__()
        c_ = int(c2 * e)  # hidden channels
        self.cv1 = Conv(c1, c_, 1, 1)
        self.cv2 = Conv(c_, c2, 3, 1, g=g)
        self.add = shortcut and c1 == c2
        self.avgpool = nn.AdaptiveAvgPool2d(1)
        self.l1 = nn.Linear(c1, c1 // 4, bias=False)
        self.relu = nn.ReLU(inplace=True)
        self.l2 = nn.Linear(c1 // 4, c1, bias=False)
        self.sig = nn.Sigmoid()
 
    def forward(self, x):
        x = self.cv1(x)
        b, c, _, _ = x.size()
        y = self.avgpool(x).view(b, c)
        y = self.l1(y)
        y = self.relu(y)
        y = self.l2(y)
        y = self.sig(y)
        y = y.view(b, c, 1, 1)
        x = x * y.expand_as(x)
        return x + self.cv2(x) if self.add else self.cv2(self.cv1(x))

第三步：yolo.py中注冊(cè)我們進(jìn)行修改的seC3

        if m in [Conv, GhostConv, Bottleneck, Bottleneck_cot,TransformerC3,GhostBottleneck, SPP, DWConv, MixConv2d, Focus, CrossConv, BottleneckCSP,
                 C3,seC3]:
            c1, c2 = ch[f], args[0]
            if c2 != no:  # if not output
                c2 = make_divisible(c2 * gw, 8)
            args = [c1, c2, *args[1:]]
            if m in [BottleneckCSP, seC3]:
                args.insert(2, n)  # number of repeats
                n = 1

第四步：修改yaml文件，本文以修改主干特征提取網(wǎng)絡(luò)為例，將原C3模塊改為seC3即可。

第五步：將train.py中改為本文的yaml文件即可，開始訓(xùn)練。

結(jié)果：

本人在多個(gè)數(shù)據(jù)集上做了大量實(shí)驗(yàn)，針對(duì)不同的數(shù)據(jù)集效果不同，同一個(gè)數(shù)據(jù)集的不同添加位置方法也是有差異，需要大家進(jìn)行實(shí)驗(yàn)。有效果有提升的情況占大多數(shù)。

PS：SE通道注意力機(jī)制，參數(shù)量引入較少，不僅僅是可以添加進(jìn)YOLOv5，也可以添加進(jìn)任何其他的深度學(xué)習(xí)網(wǎng)絡(luò)，不管是分類還是檢測(cè)還是分割，主要是計(jì)算機(jī)視覺領(lǐng)域，都可能會(huì)有不同程度的提升效果。