pytorch 實現在測試的時候啟用dropout
更新時間：2021年05月27日 10:07:17 作者：qian99
這篇文章主要介紹了pytorch 實現在測試的時候啟用dropout的操作，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教
我們知道，dropout一般都在訓練的時候使用，那么測試的時候如何也開啟dropout呢？
在pytorch中，網絡有train和eval兩種模式，在train模式下，dropout和batch normalization會生效，而val模式下，dropout不生效，bn固定參數。
想要在測試的時候使用dropout，可以把dropout單獨設為train模式，這里可以使用apply函數：
def apply_dropout(m):
if type(m) == nn.Dropout:
m.train()
下面是完整demo代碼：
# coding: utf-8
import torch
import torch.nn as nn
import numpy as np
class SimpleNet(nn.Module):
def __init__(self):
super(SimpleNet, self).__init__()
self.fc = nn.Linear(8, 8)
self.dropout = nn.Dropout(0.5)
def forward(self, x):
x = self.fc(x)
x = self.dropout(x)
return x
net = SimpleNet()
x = torch.FloatTensor([1]*8)
net.train()
y = net(x)
print('train mode result: ', y)
net.eval()
y = net(x)
print('eval mode result: ', y)
net.eval()
y = net(x)
print('eval2 mode result: ', y)
def apply_dropout(m):
if type(m) == nn.Dropout:
m.train()
net.eval()
net.apply(apply_dropout)
y = net(x)
print('apply eval result:', y)
運行結果：
可以看到，在eval模式下，由于dropout未生效，每次跑的結果不同，利用apply函數，將Dropout單獨設為train模式，dropout就生效了。
補充：Pytorch之dropout避免過擬合測試
一.做數據
二.搭建神經網絡
三.訓練
四.對比測試結果
注意：測試過程中，一定要注意模式切換
以上為個人經驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
這篇文章主要介紹了python如何將txt坐標批量打印到原圖上的問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-08-08
這篇文章主要介紹了Python matplotlib修改默認字體的操作，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-03-03
這篇文章主要介紹了使用Keras構造簡單的CNN網絡實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-06-06
這篇文章主要介紹了Python編程的8個實用建議,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-07-07
這篇文章主要為大家介紹了CPython 垃圾收集器檢測循環(huán)引用詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-10-10
這篇文章主要為大家介紹了12個Python小案例，包含了日常開發(fā)中非常實用的語法，快來跟隨小編一起學習一下，看看自己都會多少個呢2022-02-02
torch.load()它用于加載由torch.save()保存的模型或張量,本文主要介紹了PyTorch中torch.load()的用法和應用,具有一定的參考價值,感興趣的可以了解一下2024-03-03
談一談數組拼接tf.concat()和np.concatenate()的區(qū)別
今天小編就為大家分享一篇談談數組拼接tf.concat()和np.concatenate()的區(qū)別，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-02-02
灰度變換是指根據某種目標條件按一定變換關系逐點改變源圖像中每個像素灰度值的方法。目的是改善畫質，使圖像顯示效果更加清晰。圖像的灰度變換處理是圖像增強處理技術中的一種非?；A、直接的空間域圖像處理方法，也是圖像數字化軟件和圖像顯示軟件的一個重要組成部分2022-10-10
Agentic AI（智能代理）正在悄然改變我們的工作方式,所以這篇文章小編就來和大家簡單介紹一下如何使用Python搭建智能AI代理,感興趣的小伙伴可以了解下2025-07-07