pytorch損失反向傳播后梯度為none的問題
更新時間：2021年05月12日 17:03:03 作者：lczygogogo
這篇文章主要介紹了pytorch 出現(xiàn)損失反向傳播后梯度為none的問題，具有很好的參考價值，如有錯誤或未考慮完全的地方，望不吝賜教
錯誤代碼：輸出grad為none
a = torch.ones((2, 2), requires_grad=True).to(device) b = a.sum() b.backward() print(a.grad)
由于.to(device)是一次操作，此時的a已經不是葉子節(jié)點了
修改后的代碼為：
a = torch.ones((2, 2), requires_grad=True) c = a.to(device) b = c.sum() b.backward() print(a.grad)
類似錯誤：
self.miu = torch.nn.Parameter(torch.ones(self.dimensional)) * 0.01
應該為
self.miu = torch.nn.Parameter(torch.ones(self.dimensional) * 0.01)
補充：pytorch梯度返回none的bug
pytorch1.4.0如果使用了view方法，reshape方法
tensor即使設置了requires_grad，反向傳播之后， x返回沒有grad梯度，為none
不知道其他版本有無此bug
補充：PyTorch中梯度反向傳播的注意點
在一個迭代循環(huán)中
optimizer.zero_grad()語句的位置比較隨意，只要放在loss.backward()前面即可，它的作用是將梯度歸零，否則會在每一個迭代中進行累加，
loss.backward()的作用是反向傳播，計算梯度，optimizer.step()的功能是優(yōu)化器自動完成參數的更新。
optimizer.zero_grad() loss.backward() optimizer.step()
以上為個人經驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
這篇文章主要介紹了使用 Python 實現(xiàn)文件遞歸遍歷的三種方式,非常不錯，具有一定的參考借鑒價值，需要的朋友參考下吧2018-07-07
在matplotlib.pyplot 中除了可以繪制常規(guī)圖表如折線、柱狀、散點等,還可以繪制常用在地理上的平面展示地型的等高線圖,在本中,我們將詳細學習matplotlib 繪制等高線圖相關屬性的學習,需要的朋友可以參考下2023-11-11
本文主要介紹了Python中星號的五種用法小結，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2023-02-02
python從2.6開始支持format，新的更加容易讀懂的字符串格式化方法，下面這篇文章主要介紹了Python中字符串格式化str.format的相關資料，需要的朋友可以參考借鑒，下面來一起看看吧。2017-02-02
windows10在visual studio2019下配置使用openCV4.3.0
這篇文章主要介紹了windows10在visual studio2019下配置使用openCV4.3.0，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-07-07
這篇文章主要介紹了Anaconda詳細安裝步驟圖文教程,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-11-11
今天小編就為大家分享一篇Python實現(xiàn)投影法分割圖像示例(二)，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-01-01
這篇文章主要為大家詳細介紹了如何基于Python制作一個PDF批量轉化工具,文中的示例代碼講解詳細,感興趣的小伙伴可以跟隨小編一起學習一下2024-12-12
Python具有易學、易用、易擴展、可移植性強等特點，被廣泛應用于數據分析、人工智能、Web開發(fā)、自動化測試等領域。Python在使用過程中也會遇到一些常見技術問題，本文匯總Python開發(fā)中實用操作方法代碼筆記。2023-06-06
這篇文章主要介紹了Python使用新浪微博API發(fā)送微博的例子,需要的朋友可以參考下2014-04-04