pytorch中的model.eval()和BN層的使用
更新時間：2021年05月22日 10:27:00 作者：那抹陽光1994
這篇文章主要介紹了pytorch中的model.eval()和BN層的使用，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教
看代碼吧~
class ConvNet(nn.module):
def __init__(self, num_class=10):
super(ConvNet, self).__init__()
self.layer1 = nn.Sequential(nn.Conv2d(1, 16, kernel_size=5, stride=1, padding=2),
nn.BatchNorm2d(16),
nn.ReLU(),
nn.MaxPool2d(kernel_size=2, stride=2))
self.layer2 = nn.Sequential(nn.Conv2d(16, 32, kernel_size=5, stride=1, padding=2),
nn.BatchNorm2d(32),
nn.ReLU(),
nn.MaxPool2d(kernel_size=2, stride=2))
self.fc = nn.Linear(7*7*32, num_classes)
def forward(self, x):
out = self.layer1(x)
out = self.layer2(out)
print(out.size())
out = out.reshape(out.size(0), -1)
out = self.fc(out)
return out
# Test the model
model.eval() # eval mode (batchnorm uses moving mean/variance instead of mini-batch mean/variance)
with torch.no_grad():
correct = 0
total = 0
for images, labels in test_loader:
images = images.to(device)
labels = labels.to(device)
outputs = model(images)
_, predicted = torch.max(outputs.data, 1)
total += labels.size(0)
correct += (predicted == labels).sum().item()
如果網(wǎng)絡模型model中含有BN層，則在預測時應當將模式切換為評估模式，即model.eval()。
評估模擬下BN層的均值和方差應該是整個訓練集的均值和方差，即 moving mean/variance。
訓練模式下BN層的均值和方差為mini-batch的均值和方差，因此應當特別注意。
補充：Pytorch 模型訓練模式和eval模型下差別巨大（Pytorch train and eval）附解決方案
當pytorch模型寫明是eval()時有時表現(xiàn)的結果相對于train(True)差別非常巨大，這種差別經(jīng)過逐層查看，主要來源于使用了BN，在eval下，使用的BN是一個固定的running rate，而在train下這個running rate會根據(jù)輸入發(fā)生改變。
解決方案是凍住bn
def freeze_bn(m):
if isinstance(m, nn.BatchNorm2d):
m.eval()
model.apply(freeze_bn)
這樣可以獲得穩(wěn)定輸出的結果。
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
Python跨文件實現(xiàn)字符串填充的三種實現(xiàn)方法
本文主要介紹了Python跨文件實現(xiàn)字符串填充的三種實現(xiàn)方法,包括format方法、%格式化操作符和eval函數(shù)結合f-string,具有一定的參考價值,感興趣的可以了解一下2024-12-12
本文將為大家簡單介紹一下Python中的一個輕量級搜索工具Whoosh，并給出相應的使用示例代碼，感興趣的小伙伴可以跟隨小編一起學習一下2022-07-07
這篇文章主要介紹了Python json讀寫方式和字典相互轉化,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-04-04
今天小編就為大家分享一篇python調用c++傳遞數(shù)組的實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-02-02
這篇文章主要為大家詳細介紹了Python如何實現(xiàn)簡易版停車管理系統(tǒng)，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-08-08
wheel是新的Python的disribution，用于替代Python傳統(tǒng)的egg文件。目前有超過一半的庫文件有對應的wheel文件，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習吧2022-09-09
這篇文章主要介紹了Python從入門到精通之環(huán)境搭建,需要的朋友可以參考下2019-09-09
淺談flask中的before_request與after_request
這篇文章主要介紹了淺談flask中的before_request與after_request，小編覺得還是挺不錯的，具有一定借鑒價值，需要的朋友可以參考下2018-01-01
在數(shù)據(jù)庫中存儲時，使用 Bytes 更精確，可擴展性和靈活性都很高。下面通過本文給大家介紹基于Python實現(xiàn)文件大小輸出，對python文件輸出相關知識感興趣的朋友一起學習吧2016-01-01
大家好，本篇文章主要講的是用Python實現(xiàn)一本個性化日歷，感興趣的同學趕快來看一看吧，對你有幫助的話記得收藏一下2022-02-02