pytorch中model.train()和model.eval()用法及說明
model.train()和model.eval()用法
1.1 model.train()
model.train()的作用是啟用 Batch Normalization 和 Dropout。
如果模型中有BN層(Batch Normalization）和Dropout，需要在訓練時添加model.train()。
model.train()是保證BN層能夠用到每一批數(shù)據(jù)的均值和方差。
對于Dropout，model.train()是隨機取一部分網(wǎng)絡連接來訓練更新參數(shù)。
1.2 model.eval()
model.eval()的作用是不啟用 Batch Normalization 和 Dropout。
如果模型中有BN層(Batch Normalization）和Dropout，在測試時添加model.eval()。
model.eval()是保證BN層能夠用全部訓練數(shù)據(jù)的均值和方差，即測試過程中要保證BN層的均值和方差不變。
對于Dropout，model.eval()是利用到了所有網(wǎng)絡連接，即不進行隨機舍棄神經(jīng)元。
訓練完train樣本后，生成的模型model要用來測試樣本。
在model(test)之前，需要加上model.eval()，否則的話，有輸入數(shù)據(jù)，即使不訓練，它也會改變權值。這是model中含有BN層和Dropout所帶來的的性質。
在做one classification的時候，訓練集和測試集的樣本分布是不一樣的，尤其需要注意這一點。
1.3 分析原因
使用PyTorch進行訓練和測試時一定注意要把實例化的model指定train/eval。
model.eval()時，框架會自動把BN和Dropout固定住，不會取平均，而是用訓練好的值，
不然的話，一旦test的batch_size過小，很容易就會被BN層導致生成圖片顏色失真極大?。。。。?！
總結
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
這篇文章主要介紹了Python如何使用函數(shù)做字典的值,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-11-11
python網(wǎng)絡爬蟲之協(xié)程的實現(xiàn)方法
這篇文章主要介紹了python網(wǎng)絡爬蟲之協(xié)程的實現(xiàn)方法,協(xié)程Coroutine又稱微線程，是一種用戶態(tài)內的上下文切換技術,簡而言之，就是通過一個線程實現(xiàn)代碼塊相互切換執(zhí)行,需要的朋友可以參考下2023-08-08
這篇文章主要介紹了keras實現(xiàn)多種分類網(wǎng)絡的方式，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-06-06
這篇文章主要介紹了Flask框架Jinjia模板常用語法,結合實例形式總結分析了Jinjia模板的變量、賦值、流程控制、函數(shù)、塊、宏等基本使用方法,需要的朋友可以參考下2018-07-07
這篇文章主要為大家介紹了Python密碼學概述雙倍強度加密教程詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪<BR>2022-05-05
這篇文章主要介紹了簡介Django框架中可使用的各類緩存,Django是人氣最高的Python web開發(fā)框架,需要的朋友可以參考下2015-07-07
Python如何保護代碼和數(shù)據(jù)，常見的安全漏洞及應對措施有哪些？
本文介紹了Python安全編程的重要性,并分享了常見的安全漏洞及應對措施、安全編程最佳實踐、安全庫的使用、安全配置等內容,同時,還對比了Python和Rust的安全特性,并推薦了一些實踐項目,最后提出了學習方法和技巧,鼓勵大家不斷提高安全意識2026-05-05
今天小編就為大家分享一篇信號生成及DFT的python實現(xiàn)方式，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-02-02
本文主要介紹了Pandas使用query()優(yōu)雅的查詢實例，文中通過示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2022-01-01
使用python讀取.text文件特定行的數(shù)據(jù)方法
今天小編就為大家分享一篇使用python讀取.text文件特定行的數(shù)據(jù)方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-01-01