pytorch 共享參數(shù)的示例
更新時(shí)間：2019年08月17日 13:37:45 作者：馬管子
今天小編就為大家分享一篇pytorch 共享參數(shù)的示例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
在很多神經(jīng)網(wǎng)絡(luò)中，往往會(huì)出現(xiàn)多個(gè)層共享一個(gè)權(quán)重的情況，pytorch可以快速地處理權(quán)重共享問題。
例子1：
class ConvNet(nn.Module):
def __init__(self):
super(ConvNet, self).__init__()
self.conv_weight = nn.Parameter(torch.randn(3, 3, 5, 5))
def forward(self, x):
x = nn.functional.conv2d(x, self.conv_weight, bias=None, stride=1, padding=2, dilation=1, groups=1)
x = nn.functional.conv2d(x, self.conv_weight.transpose(2, 3).contiguous(), bias=None, stride=1, padding=0, dilation=1,
groups=1)
return x
上邊這段程序定義了兩個(gè)卷積層，這兩個(gè)卷積層共享一個(gè)權(quán)重conv_weight，第一個(gè)卷積層的權(quán)重是conv_weight本身，第二個(gè)卷積層是conv_weight的轉(zhuǎn)置。注意在gpu上運(yùn)行時(shí)，transpose()后邊必須加上.contiguous()使轉(zhuǎn)置操作連續(xù)化，否則會(huì)報(bào)錯(cuò)。
例子2：
class LinearNet(nn.Module):
def __init__(self):
super(LinearNet, self).__init__()
self.linear_weight = nn.Parameter(torch.randn(3, 3))
def forward(self, x):
x = nn.functional.linear(x, self.linear_weight)
x = nn.functional.linear(x, self.linear_weight.t())
return x
這個(gè)網(wǎng)絡(luò)實(shí)現(xiàn)了一個(gè)雙層感知器，權(quán)重同樣是一個(gè)parameter的本身及其轉(zhuǎn)置。
例子3：
class LinearNet2(nn.Module):
def __init__(self):
super(LinearNet2, self).__init__()
self.w = nn.Parameter(torch.FloatTensor([[1.1,0,0], [0,1,0], [0,0,1]]))
def forward(self, x):
x = x.mm(self.w)
x = x.mm(self.w.t())
return x
這個(gè)方法直接用mm函數(shù)將x與w相乘，與上邊的網(wǎng)絡(luò)效果相同。
以上這篇pytorch 共享參數(shù)的示例就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了Python中的文件I/O操作,是Python入門中的基礎(chǔ)知識(shí),需要的朋友可以參考下2015-05-05
python實(shí)現(xiàn)一個(gè)簡單的ping工具方法
今天小編就為大家分享一篇python實(shí)現(xiàn)一個(gè)簡單的ping工具方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-01-01
本文主要介紹了np.array()函數(shù)的使用方法，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-02-02
這篇文章主要為大家介紹了python從gbff文件中直接提取cds序列示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-07-07
這篇文章主要介紹了python 登錄并爬取淘寶信息代碼示例，具有一定借鑒價(jià)值，需要的朋友可以了解下。2017-12-12
保護(hù)文檔內(nèi)容是常見的需求,但有時(shí)我們可能會(huì)忘記或丟失文檔的密碼,導(dǎo)致無法訪問重要信息,本文將介紹如何使用Python創(chuàng)建一個(gè)簡單而實(shí)用的文檔密碼移除工具,需要的可以參考下2023-12-12
這篇文章主要介紹了Python中的pyecharts庫使用總結(jié),Pyecharts 提供了一個(gè)簡單而直觀的 API 接口,使得使用者無需了解復(fù)雜的 JavaScript 語法,即可通過 Python 代碼實(shí)現(xiàn)高度定制化的圖表設(shè)計(jì),需要的朋友可以參考下2023-12-12
Python實(shí)現(xiàn)新型冠狀病毒傳播模型及預(yù)測(cè)代碼實(shí)例
在本篇文章里小編給大家整理的是關(guān)于Python實(shí)現(xiàn)新型冠狀病毒傳播模型及預(yù)測(cè)代碼內(nèi)容，有興趣的朋友們可以學(xué)習(xí)下。2020-02-02
今天小編就為大家分享一篇Python 列表的清空方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-01-01
這篇文章主要介紹了Django框架模板的使用方法,結(jié)合實(shí)例形式分析了Django框架模板的創(chuàng)建與使用相關(guān)操作技巧,需要的朋友可以參考下2019-05-05