快捷導(dǎo)航

PyTorch dropout設(shè)置訓(xùn)練和測(cè)試模式的實(shí)現(xiàn)

更新時(shí)間：2021年05月27日 11:31:24 作者：運(yùn)動(dòng)碼農(nóng)

這篇文章主要介紹了PyTorch dropout設(shè)置訓(xùn)練和測(cè)試模式的實(shí)現(xiàn)方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。

看代碼吧~

class Net(nn.Module):
…
model = Net()
…
model.train() # 把module設(shè)成訓(xùn)練模式，對(duì)Dropout和BatchNorm有影響
model.eval() # 把module設(shè)置為預(yù)測(cè)模式，對(duì)Dropout和BatchNorm模塊有影響

補(bǔ)充：Pytorch遇到的坑——訓(xùn)練模式和測(cè)試模式切換

由于訓(xùn)練的時(shí)候Dropout和BN層起作用，每個(gè)batch BN層的參數(shù)不一樣，dropout在訓(xùn)練時(shí)隨機(jī)失效點(diǎn)具有隨機(jī)性，所以訓(xùn)練和測(cè)試要區(qū)分開(kāi)來(lái)。

使用時(shí)切記要根據(jù)實(shí)際情況切換：

model.train()
model.eval()

補(bǔ)充：Pytorch在測(cè)試與訓(xùn)練過(guò)程中的驗(yàn)證結(jié)果不一致問(wèn)題

引言

今天在使用Pytorch導(dǎo)入此前保存的模型進(jìn)行測(cè)試，在過(guò)程中發(fā)現(xiàn)輸出的結(jié)果與驗(yàn)證結(jié)果差距甚大，經(jīng)過(guò)排查后發(fā)現(xiàn)是forward與eval()順序問(wèn)題。

現(xiàn)象

此前的錯(cuò)誤代碼是

    input_cpu = torch.ones((1, 2, 160, 160))
    target_cpu =torch.ones((1, 2, 160, 160))
    target_gpu, input_gpu = target_cpu.cuda(), input_cpu.cuda()
    model.set_input_2(input_gpu, target_gpu)
    model.eval()
    model.forward()

應(yīng)該改為

    input_cpu = torch.ones((1, 2, 160, 160))
    target_cpu =torch.ones((1, 2, 160, 160))
    target_gpu, input_gpu = target_cpu.cuda(), input_cpu.cuda()
    model.set_input_2(input_gpu, target_gpu)
    # 先f(wàn)orward再eval
    model.forward()
    model.eval()

當(dāng)時(shí)有個(gè)疑慮，為什么要在forward后面再加eval()，查了下相關(guān)資料，主要是在BN層以及Dropout的問(wèn)題。當(dāng)使用eval()時(shí)，模型會(huì)自動(dòng)固定BN層以及Dropout，選取訓(xùn)練好的值，否則則會(huì)取平均，可能導(dǎo)致生成的圖片顏色失真。

以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

Python腳本實(shí)現(xiàn)調(diào)用手機(jī)攝像頭
這篇文章主要為大家詳細(xì)介紹了Python如何通過(guò),腳本實(shí)現(xiàn)調(diào)用手機(jī)攝像頭,這樣就能隨時(shí)隨地用電腦偷偷看看男朋友都在干啥了,感興趣的小伙伴可以了解下
2025-03-03
在Flask使用TensorFlow的幾個(gè)常見(jiàn)錯(cuò)誤及解決
這篇文章主要介紹了在Flask使用TensorFlow的幾個(gè)常見(jiàn)錯(cuò)誤及解決,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
2024-01-01
PyCharm控制臺(tái)堆棧亂碼問(wèn)題解決方案
PyCharm環(huán)境都已經(jīng)配置成了UTF-8編碼,控制臺(tái)打印中文也不會(huì)出現(xiàn)亂碼,但報(bào)錯(cuò)堆棧信息中如果有中文會(huì)出現(xiàn)中文亂碼,遇到這樣的問(wèn)題如何解決呢,下面小編給大家?guī)?lái)了PyCharm控制臺(tái)堆棧亂碼問(wèn)題解決方案,感興趣的朋友一起看看吧
2023-12-12
python爬取招聘要求等信息實(shí)例
在本篇文章里小編給大家整理了關(guān)于python爬取招聘要求等信息實(shí)例內(nèi)容，有興趣的朋友們可以學(xué)習(xí)下。
2020-11-11
python計(jì)算程序開(kāi)始到程序結(jié)束的運(yùn)行時(shí)間和程序運(yùn)行的CPU時(shí)間
這篇文章主要介紹了python計(jì)算程序開(kāi)始到程序結(jié)束的運(yùn)行時(shí)間和程序運(yùn)行的CPU時(shí)間的三個(gè)方法，大家參考使用
2013-11-11
python中協(xié)程實(shí)現(xiàn)TCP連接的實(shí)例分析
在本篇文章中我們給大家分享了python中協(xié)程實(shí)現(xiàn)TCP連接的代碼示例內(nèi)容，有需要的朋友們可以跟著學(xué)習(xí)下。
2018-10-10
Python中defaultdict與lambda表達(dá)式用法實(shí)例小結(jié)
這篇文章主要介紹了Python中defaultdict與lambda表達(dá)式用法,結(jié)合實(shí)例形式分析了Python中defaultdict與lambda表達(dá)式的功能、使用方法及相關(guān)注意事項(xiàng),需要的朋友可以參考下
2018-04-04
python的random模塊及加權(quán)隨機(jī)算法的python實(shí)現(xiàn)方法
下面小編就為大家?guī)?lái)一篇python的random模塊及加權(quán)隨機(jī)算法的python實(shí)現(xiàn)方法。小編覺(jué)得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧
2017-01-01
對(duì)python操作kafka寫(xiě)入json數(shù)據(jù)的簡(jiǎn)單demo分享
今天小編就為大家分享一篇對(duì)python操作kafka寫(xiě)入json數(shù)據(jù)的簡(jiǎn)單demo，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
2018-12-12
使用Django連接Mysql數(shù)據(jù)庫(kù)步驟
今天小編就為大家分享一篇關(guān)于使用Django連接Mysql數(shù)據(jù)庫(kù)步驟，小編覺(jué)得內(nèi)容挺不錯(cuò)的，現(xiàn)在分享給大家，具有很好的參考價(jià)值，需要的朋友一起跟隨小編來(lái)看看吧
2019-01-01