pytorch使用resnet快速加載官方提供的預(yù)訓(xùn)練模型
使用resnet快速加載官方提供的預(yù)訓(xùn)練模型
在做神經(jīng)網(wǎng)絡(luò)的搭建過程，經(jīng)常使用pytorch中的resnet作為backbone，特別是resnet50，
比如下面的這個(gè)網(wǎng)絡(luò)設(shè)定：
import torch
import torch.nn as nn
from torchvision import datasets, transforms
from torchvision import models
class base_resnet(nn.Module):
def __init__(self):
super(base_resnet, self).__init__()
self.model = models.resnet50(pretrained=True)
#self.model.load_state_dict(torch.load('./model/resnet50-19c8e357.pth'))
self.model.avgpool = nn.AdaptiveAvgPool2d((1, 1))
def forward(self, x):
x = self.model.conv1(x)
x = self.model.bn1(x)
x = self.model.relu(x)
x = self.model.maxpool(x)
x = self.model.layer1(x)
x = self.model.layer2(x)
x = self.model.layer3(x)
x = self.model.layer4(x)
x = self.model.avgpool(x)
# x = x.view(x.size(0), x.size(1))
return x該網(wǎng)絡(luò)相當(dāng)于繼承了resnet50的所有參數(shù)結(jié)構(gòu)，只不過是在forward中，改變了數(shù)據(jù)的傳輸過程，沒有經(jīng)過最后的特征展開以及線性分類。
在下面的這行代碼中，是相當(dāng)于調(diào)用了pytoch中定義的resnet50網(wǎng)絡(luò)，并且會(huì)自動(dòng)下載并且加載訓(xùn)練好的網(wǎng)絡(luò)參數(shù)，如果調(diào)為 pretrained=False,則不會(huì)加載訓(xùn)練好的參數(shù)，而是隨機(jī)進(jìn)行參數(shù)的賦值。
但是我在服務(wù)器上跑這一類代碼的時(shí)候發(fā)現(xiàn)，每當(dāng)我重新跑一次程序，如果設(shè)置為True都會(huì)重新下載resnet50訓(xùn)練好的參數(shù)，但是由于有時(shí)候網(wǎng)絡(luò)特別不好，導(dǎo)致我下載個(gè)基礎(chǔ)的resnet50就要耗費(fèi)我好長(zhǎng)時(shí)間，那么我就想能不能將這個(gè)resnet50的參數(shù)提前下載好，使用的時(shí)候直接加載呢。
當(dāng)然是能了。
self.model = models.resnet50(pretrained=True)
我們可以根據(jù)我們使用的結(jié)構(gòu)，到對(duì)應(yīng)的地址下載對(duì)應(yīng)的模型到本地，常用的resnet的地址如下：
'resnet18': 'https://download.pytorch.org/models/resnet18-5c106cde.pth', 'resnet34': 'https://download.pytorch.org/models/resnet34-333f7ec4.pth', 'resnet50': 'https://download.pytorch.org/models/resnet50-19c8e357.pth', 'resnet101': 'https://download.pytorch.org/models/resnet101-5d3b4d8f.pth', 'resnet152': 'https://download.pytorch.org/models/resnet152-b121ed2d.pth',
將其下載下來，然后將模型放入到和net.py同目錄的model文件夾下面，然后使用下面的代碼就可以避免每次都重新下載模型的問題了。
self.model = models.resnet50(pretrained=False)
self.model.load_state_dict(torch.load('./model/resnet50-19c8e357.pth'))pytorch代碼規(guī)范之加載預(yù)訓(xùn)練模型
加載預(yù)訓(xùn)練模型,并去除需要再次訓(xùn)練的層
model=resnet()#自己構(gòu)建的模型，以resnet為例， 需要重新訓(xùn)練的層的名字要和之前的不同。
model_dict = model.state_dict()
pretrained_dict = torch.load('xxx.pkl')
pretrained_dict = {k: v for k, v in pretrained_dict.items() if k in model_dict}
model_dict.update(pretrained_dict)
model.load_state_dict(model_dict)固定部分參數(shù)
#k是可訓(xùn)練參數(shù)的名字，v是包含可訓(xùn)練參數(shù)的一個(gè)實(shí)體 #可以先print（k）,找到自己想進(jìn)行調(diào)整的層，并將該層的名字加入到if語句中： for k,v in model.named_parameters(): if k!='xxx.weight' and k!='xxx.bias' : v.requires_grad=False#固定參數(shù)
訓(xùn)練部分參數(shù)
#將要訓(xùn)練的參數(shù)放入優(yōu)化器 optimizer2=torch.optim.Adam(params=[model.xxx.weight，model.xxx.bias],lr=learning_rate,betas=(0.9,0.999),weight_decay=1e-5)
檢查是否固定
for k,v in model.named_parameters(): if k!='xxx.weight' and k!='xxx.bias' : print(v.requires_grad)#理想狀態(tài)下，所有值都是False
總結(jié)
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
本篇文章給大家介紹了python中的字典，包括字典的操作，字典函數(shù)實(shí)現(xiàn)代碼，需要的朋友參考下吧2018-01-01
使用pymysql查詢數(shù)據(jù)庫(kù),把結(jié)果保存為列表并獲取指定元素下標(biāo)實(shí)例
這篇文章主要介紹了使用pymysql查詢數(shù)據(jù)庫(kù),把結(jié)果保存為列表并獲取指定元素下標(biāo)實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-05-05
小白如何入門Python? 制作一個(gè)網(wǎng)站為例
以制作一個(gè)網(wǎng)站為例，聊一聊小白如何入門Python，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-03-03
搞定這套Python爬蟲面試題(面試會(huì)so easy)
Python 是一門開源的解釋性語言，相比 Java C++ 等語言，Python 具有動(dòng)態(tài)特性，非常靈活。這篇文章主要介紹了搞定這套Python爬蟲面試題，面試會(huì)so easy,需要的朋友可以參考下2019-04-04
這篇文章主要介紹了Python Opencv圖像處理基本操作代碼詳解,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-08-08
這篇文章主要介紹了Python如何根據(jù)字典中的值排序問題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-02-02
這篇文章主要介紹了后端開發(fā)使用pycharm的技巧,本文通過圖文并茂的形式給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-03-03
Python列表數(shù)據(jù)如何按區(qū)間分組統(tǒng)計(jì)各組個(gè)數(shù)
這篇文章主要介紹了Python列表數(shù)據(jù)如何按區(qū)間分組統(tǒng)計(jì)各組個(gè)數(shù),具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-07-07
一文讓你徹底搞懂Python中__str__和__repr__
這篇文章主要介紹了Python中的__str__和__repr__的異同，__str__和__repr__是基本的內(nèi)置方法,文中有詳細(xì)的代碼示例，感興趣的同學(xué)可以參考閱讀下2023-05-05
Python處理PDF文檔的兩大功能庫(kù)(PyPDF2/pdfplumber)的使用指南
PyPDF2擅長(zhǎng)PDF文檔操作,而pdfplumber專注于高質(zhì)量文本和表格數(shù)據(jù)提取,本文將對(duì)比Python中兩個(gè)PDF處理庫(kù)PyPDF2和pdfplumber的主要功能與適用場(chǎng)景,希望對(duì)大家有所幫助2026-03-03