Pytorch實(shí)現(xiàn)將模型的所有參數(shù)的梯度清0
有兩種方式直接把模型的參數(shù)梯度設(shè)成0：
model.zero_grad()
optimizer.zero_grad()#當(dāng)optimizer=optim.Optimizer(model.parameters())時(shí)，兩者等效
如果想要把某一Variable的梯度置為0，只需用以下語(yǔ)句：
Variable.grad.data.zero_()
補(bǔ)充知識(shí)：PyTorch中在反向傳播前為什么要手動(dòng)將梯度清零？optimizer.zero_grad()的意義
optimizer.zero_grad()意思是把梯度置零，也就是把loss關(guān)于weight的導(dǎo)數(shù)變成0.
在學(xué)習(xí)pytorch的時(shí)候注意到，對(duì)于每個(gè)batch大都執(zhí)行了這樣的操作：
optimizer.zero_grad() ## 梯度清零
preds = model(inputs) ## inference
loss = criterion(preds, targets) ## 求解loss
loss.backward() ## 反向傳播求解梯度
optimizer.step() ## 更新權(quán)重參數(shù)
1、由于pytorch的動(dòng)態(tài)計(jì)算圖，當(dāng)我們使用loss.backward()和opimizer.step()進(jìn)行梯度下降更新參數(shù)的時(shí)候，梯度并不會(huì)自動(dòng)清零。并且這兩個(gè)操作是獨(dú)立操作。
2、backward()：反向傳播求解梯度。
3、step()：更新權(quán)重參數(shù)。
基于以上幾點(diǎn)，正好說(shuō)明了pytorch的一個(gè)特點(diǎn)是每一步都是獨(dú)立功能的操作，因此也就有需要梯度清零的說(shuō)法，如若不顯示的進(jìn) optimizer.zero_grad()這一步操作，backward()的時(shí)候就會(huì)累加梯度。
以上這篇Pytorch實(shí)現(xiàn)將模型的所有參數(shù)的梯度清0就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
Python如何讀取txt文件,獲取指定行中指定位置數(shù)據(jù)
這篇文章主要介紹了Python如何讀取txt文件,獲取指定行中指定位置數(shù)據(jù),具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-03-03
Python使用unicodedata實(shí)現(xiàn)字符串標(biāo)準(zhǔn)化
這篇文章主要來(lái)和大家聊一聊 Python 的一個(gè)內(nèi)置模塊：unicodedata，它是專門用來(lái)處理 unicode 字符串的，下面就一起來(lái)看看它的用法吧2023-06-06
Python中輸入和輸出（打?。?shù)據(jù)實(shí)例方法
在本篇文章里小編給大家整理的是關(guān)于Python中輸入和輸出（打印）數(shù)據(jù)實(shí)例方法以及相關(guān)知識(shí)點(diǎn)，有需要的朋友們參考下。2019-10-10
Python+PyQt5實(shí)現(xiàn)數(shù)據(jù)庫(kù)表格動(dòng)態(tài)增刪改
這篇文章主要為大家介紹如何利用Python中的PyQt5模塊實(shí)現(xiàn)對(duì)數(shù)據(jù)庫(kù)表格的動(dòng)態(tài)增刪改，文中的示例代碼講解詳細(xì)，感興趣的小伙伴可以了解一下2022-03-03
這篇文章主要介紹了Python三種遍歷文件目錄的方法實(shí)例代碼，具有一定借鑒價(jià)值,需要的朋友可以參考下2018-01-01
這篇文章主要給大家介紹了關(guān)于pymysql的安裝以及操作的相關(guān)資料,pymsql是Python中操作MySQL的模塊,其使用方法和MySQLdb幾乎相同,文中通過(guò)代碼介紹的非常詳細(xì),需要的朋友可以參考下2023-11-11
PyTorch 提供了內(nèi)置剪枝 API ，也支持了一些非結(jié)構(gòu)化和結(jié)構(gòu)化剪枝方法，但是 API 比較混亂，對(duì)應(yīng)文檔描述也不清晰，所以后面我還會(huì)結(jié)合微軟的開(kāi)源 nni 工具來(lái)實(shí)現(xiàn)模型剪枝功能,這篇文章主要介紹了pytorch實(shí)現(xiàn)模型剪枝, 需要的朋友可以參考下2023-02-02
詳解如何管理多個(gè)Python版本和虛擬環(huán)境
這篇文章主要介紹了詳解如何管理多個(gè)Python版本和虛擬環(huán)境，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2019-05-05
Python 用turtle實(shí)現(xiàn)用正方形畫圓的例子
今天小編就為大家分享一篇Python 用turtle實(shí)現(xiàn)用正方形畫圓的例子，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-11-11
Python編寫簡(jiǎn)化版的文字冒險(xiǎn)游戲的實(shí)例代碼
Python編寫簡(jiǎn)化版的文字冒險(xiǎn)游戲：迷失的寶藏,這個(gè)文字冒險(xiǎn)游戲包含了游戲開(kāi)發(fā)的基本要素：游戲狀態(tài)管理、玩家輸入處理、游戲邏輯和循環(huán),通過(guò)擴(kuò)展游戲的內(nèi)容和功能,可以制作出更復(fù)雜、更有趣的游戲,希望這個(gè)實(shí)例代碼能夠激發(fā)你對(duì)游戲編程的興趣和創(chuàng)造力！2024-05-05