pytorch 實現(xiàn)模型不同層設置不同的學習率方式
更新時間：2020年01月06日 09:52:43 作者：-wxrui-
今天小編就為大家分享一篇pytorch 實現(xiàn)模型不同層設置不同的學習率方式，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
在目標檢測的模型訓練中， 我們通常都會有一個特征提取網(wǎng)絡backbone， 例如YOLO使用的darknet SSD使用的VGG-16。
為了達到比較好的訓練效果， 往往會加載預訓練的backbone模型參數(shù)， 然后在此基礎上訓練檢測網(wǎng)絡， 并對backbone進行微調， 這時候就需要為backbone設置一個較小的lr。
class net(torch.nn.Module):
def __init__(self):
super(net, self).__init__()
# backbone
self.backbone = ...
# detect
self....
在設置optimizer時， 只需要參數(shù)分為兩個部分， 并分別給定不同的學習率lr。
base_params = list(map(id, net.backbone.parameters()))
logits_params = filter(lambda p: id(p) not in base_params, net.parameters())
params = [
{"params": logits_params, "lr": config.lr},
{"params": net.backbone.parameters(), "lr": config.backbone_lr},
]
optimizer = torch.optim.SGD(params, momentum=config.momentum, weight_decay=config.weight_decay)
以上這篇pytorch 實現(xiàn)模型不同層設置不同的學習率方式就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
利用Python產(chǎn)生加密表和解密表的實現(xiàn)方法
這篇文章主要介紹了利用Python產(chǎn)生加密表和解密表的實現(xiàn)方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-10-10
這篇文章主要介紹了python如何禁用print輸出問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-02-02
這篇文章主要介紹了python對象與json相互轉換，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-05-05
這篇文章主要介紹了Python實現(xiàn)獲取當前目錄下文件名，本文通過實例代碼給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下2020-03-03
這篇文章主要介紹了Python?GUI?圖形用戶界面，圖形用戶界面是指采用圖形方式顯示的計算機操作用戶界面，詳細介紹需要的小伙伴可以參考一下下面文章詳情2022-07-07
這篇文章主要介紹了Python中的文本處理,包括從最基本的string模塊的基礎使用和更進一步的re模塊的使用,本文來自IBM官方開發(fā)者技術文檔,需要的朋友可以參考下2015-04-04
PyTorch是由Facebook開發(fā)的開源機器學習庫,它用于深度神經(jīng)網(wǎng)絡和自然語言處理,下面這篇文章主要給大家介紹了關于PyTorch中Torch.arange函數(shù)詳解的相關資料,需要的朋友可以參考下2023-02-02
這篇文章主要介紹了PyCharm如何導入python項目的方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-02-02
python的數(shù)據(jù)與matlab互通問題:SciPy
這篇文章主要介紹了python的數(shù)據(jù)與matlab互通問題SciPy，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-12-12
詳解Python如何實現(xiàn)對比兩個Excel數(shù)據(jù)差異
這篇文章主要為大家詳細介紹了Python是如何實現(xiàn)對比兩個Excel數(shù)據(jù)差異的，文中的示例代碼講解詳細，具有一定的借鑒價值，需要的可以參考一下2022-12-12