pytorch通過訓(xùn)練結(jié)果的復(fù)現(xiàn)設(shè)置隨機種子
通過設(shè)置全局隨機種子使得每次的訓(xùn)練結(jié)果相同可以復(fù)現(xiàn)
def seed_torch(seed=2018):
random.seed(seed)
os.environ['PYTHONHASHSEED'] = str(seed)
np.random.seed(seed)
torch.manual_seed(seed)
torch.cuda.manual_seed(seed)
torch.backends.cudnn.deterministic = True
這里我主要講一下模型在復(fù)現(xiàn)結(jié)果遇到的一些問題。
首先在固定隨機種子之后，每次模型訓(xùn)練出來的結(jié)果一定是一樣的，如果不相同，那么說明訓(xùn)練過程中一定還有一部分隨機性操作沒有被固定。
將模型參數(shù)保存下來，然后加載模型參數(shù)進行測試，如果發(fā)現(xiàn)結(jié)果和訓(xùn)練過程中得到的結(jié)果有差異。
這個時候就需要按照以下步驟進行分析：
1、先改變batchsize，看看實驗復(fù)現(xiàn)的結(jié)果是否會發(fā)生變化。如果發(fā)生變化就說明batchsize會影響模型推理過程中的參數(shù)。
2、檢查一下forward中有哪些參數(shù)跟batchsize有關(guān)，或者是不是代碼寫錯了。比如batchsize就會影響LSTM的模型參數(shù)的初始化。
3、最后檢查測試集劃分batch的時候是否都一樣。
test_loader = DataLoader(test_dataset, batch_size=batchsize, shuffle=True, num_workers=4, pin_memory=True)
比如這樣一行代碼，測試集每次都被打亂了，雖然固定了隨機種子，但是這樣只能保證第k輪的隨機種子是一樣的，而第1輪和第10輪的隨機種子是不一樣的。
這樣的話，比如模型在第13個epoch收斂，得到的結(jié)果在是第13輪的測試集進行測試的，而模型在加載的時候是在第一輪的測試進行測試的，結(jié)果自然有差異。
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
想學(xué)python，這5本書籍你必看！本文為大家推薦了學(xué)習(xí)python的5本書籍，5本經(jīng)典書籍，感興趣的小伙伴們可以參考一下2018-12-12
python代碼實現(xiàn)小程序登錄流程時序總結(jié)
這篇文章主要為大家介紹了python代碼實現(xiàn)小程序的登錄案例，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步早日升職加薪2022-04-04
推薦10款最受Python開發(fā)者歡迎的Python IDE
這篇文章收集了一些對開發(fā)者非常有幫助的,最好的10款Python IDE,包括Vim,Eclipse with PyDev,Sublime Text,PyCharm等知明Python開發(fā)工具2018-09-09
Django執(zhí)行源生mysql語句實現(xiàn)過程解析
這篇文章主要介紹了Django執(zhí)行源生mysql語句實現(xiàn)過程解析,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-11-11
這篇文章主要介紹了解決keras模型保存h5文件提示無此目錄問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-07-07
Python將圖片批量從png格式轉(zhuǎn)換至WebP格式
最近因為工作需要去研究了下png的壓縮，發(fā)現(xiàn)轉(zhuǎn)換成webp格式可以小很多，下面給大家分享利用Python將圖片批量從png格式轉(zhuǎn)換至WebP格式的方法，下面來一起看看。2016-08-08
python數(shù)據(jù)寫入列表并導(dǎo)出折線圖
這篇文章主要介紹了python數(shù)據(jù)寫入列表并導(dǎo)出折線圖，文章以舉例展開對文章主題的介紹，具有一定的參考價值，需要的小伙伴可以參考一下2022-01-01
這篇文章主要介紹了python獲取word文檔的總頁數(shù)的兩種方法,文中給出了兩種解決方案,兩種方案也都各有優(yōu)缺點,可能也不一定是完全準(zhǔn)確的,需要的朋友可以參考下2024-03-03
這篇文章主要介紹了python 模擬貸款卡號生成規(guī)則過程解析,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2019-08-08
Python數(shù)據(jù)庫封裝實現(xiàn)代碼示例解析
這篇文章主要介紹了Python數(shù)據(jù)庫封裝實現(xiàn)代碼示例解析,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-09-09