pytorch對(duì)梯度進(jìn)行可視化進(jìn)行梯度檢查教程
目的： 在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的時(shí)候，有時(shí)候需要自己寫(xiě)操作，比如faster_rcnn中的roi_pooling，我們可以可視化前向傳播的圖像和反向傳播的梯度圖像，前向傳播可以檢查流程和計(jì)算的正確性，而反向傳播則可以大概檢查流程的正確性。
實(shí)驗(yàn)
可視化rroi_align的梯度
1.pytorch 0.4.1及之前，需要聲明需要參數(shù)，這里將圖片數(shù)據(jù)聲明為variable
im_data = Variable(im_data, requires_grad=True)
2.進(jìn)行前向傳播，最后的loss映射為一個(gè)一維的張量
pooled_feat = roipool(im_data, rois.view(-1, 6)) res = pooled_feat.pow(2).sum() res.backward()
3.注意求loss的時(shí)候采用更加復(fù)雜，或者更多的運(yùn)算（這樣在梯度可視化的時(shí)候效果才更加明顯）
可視化效果
原始圖片
梯度可視化圖片
原圖+梯度圖
小結(jié)：
可以看到誤差梯度的位置是正確的，誤差是否正確，需要其他方式驗(yàn)證（暫時(shí)沒(méi)有思路）
可以看到上面在求loss的時(shí)候?yàn)椋簂oss = sum(x2)，但是如果換成：loss = mean(x)，效果就沒(méi)有上面明顯。
實(shí)驗(yàn)二的效果
loss = mean(x)
可以看到根本無(wú)法看到誤差梯度的位置信息
實(shí)驗(yàn)三：loss = sum(x)
小結(jié)： 可以看到位置信息有差別，比如國(guó)徽部分，這會(huì)讓人以為，國(guó)徽部分只利用了左部分的信息，或者自己手寫(xiě)的操作誤差索引不對(duì)。
可以通過(guò)兩種方式進(jìn)行驗(yàn)證
1.用更多，更復(fù)雜的運(yùn)算求loss，比如pow，等
2.用matplotlib顯示圖片后，用鼠標(biāo)可以指示每個(gè)點(diǎn)的具體的值，可以檢測(cè)有誤差梯度區(qū)域是否和無(wú)誤差梯度區(qū)域有差別。
以上這篇pytorch對(duì)梯度進(jìn)行可視化進(jìn)行梯度檢查教程就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了numpy之sum()的使用及說(shuō)明，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2023-02-02![tensorflow/core/platform/cpu_feature_guard.cc:140] Your CPU supports instructions that this T](http://img.jbzj.com/images/xgimg/bcimg1.png)
tensorflow/core/platform/cpu_feature_guard.cc:140] Your CPU
這篇文章主要介紹了tensorflow/core/platform/cpu_feature_guard.cc:140] Your CPU supports instructions that this T的相關(guān)知識(shí)，本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-06-06
python實(shí)現(xiàn)用類讀取文件數(shù)據(jù)并計(jì)算矩形面積
今天小編就為大家分享一篇python實(shí)現(xiàn)用類讀取文件數(shù)據(jù)并計(jì)算矩形面積，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-01-01
opencv python在視屏上截圖功能的實(shí)現(xiàn)
OpenCV是一個(gè)基于BSD許可（開(kāi)源）發(fā)行的跨平臺(tái)計(jì)算機(jī)視覺(jué)庫(kù)，可以運(yùn)行在Linux、Windows、Android和Mac OS操作系統(tǒng)上。這篇文章主要介紹了opencv python在視屏上截圖,需要的朋友可以參考下2020-03-03
Python MySQLdb 執(zhí)行sql語(yǔ)句時(shí)的參數(shù)傳遞方式
這篇文章主要介紹了Python MySQLdb 執(zhí)行sql語(yǔ)句時(shí)的參數(shù)傳遞方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-03-03
使用Python從零開(kāi)始擼一個(gè)區(qū)塊鏈
對(duì)數(shù)字貨幣的崛起感到新奇的我們，并且想知道其背后的技術(shù)——區(qū)塊鏈?zhǔn)窃鯓訉?shí)現(xiàn)的。這篇文章主要介紹了使用Python從零開(kāi)始擼一個(gè)區(qū)塊鏈,需要的朋友可以參考下2018-03-03
這篇文章主要介紹了Python?私有屬性與私有方法，私有屬性是指在?Python?的面向?qū)ο箝_(kāi)發(fā)過(guò)程中，對(duì)象的某些屬性只想在對(duì)象的內(nèi)部被使用，但不想在外部被訪問(wèn)到這些屬，下面我們就進(jìn)入文章一起了解更多信息內(nèi)容吧2022-03-03
用python實(shí)現(xiàn)超強(qiáng)的加密軟件
大家好，本篇文章主要講的是用python實(shí)現(xiàn)超強(qiáng)的加密軟件，感興趣的同學(xué)趕快來(lái)看一看吧，對(duì)你有幫助的話記得收藏一下，方便下次瀏覽2022-01-01
python使用MySQLdb訪問(wèn)mysql數(shù)據(jù)庫(kù)的方法
這篇文章主要介紹了python使用MySQLdb訪問(wèn)mysql數(shù)據(jù)庫(kù)的方法,實(shí)例分析了Python使用MySQLdb模塊操作mysql數(shù)據(jù)庫(kù)的相關(guān)技巧,具有一定參考借鑒價(jià)值,需要的朋友可以參考下2015-08-08
這篇文章主要介紹了Django顯示可視化圖表的實(shí)踐，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2021-05-05