pytorch排查loss值出現(xiàn)nan的情況及解決
更新時(shí)間：2025年09月02日 09:07:13 作者：Anthony_CH
在實(shí)驗(yàn)室訓(xùn)練中,損失值出現(xiàn)nan是因條件篩選導(dǎo)致空列表,觸發(fā)torch.log()錯(cuò)誤,通過包裹訓(xùn)練代碼快速定位問題,最終解決方案是添加1e-7常量確保數(shù)值穩(wěn)定性,避免計(jì)算異常
問題
- 跑實(shí)驗(yàn)室時(shí)出現(xiàn)了損失值為nan（下圖所示）
排查
因?yàn)橛幸恍┡袛嗨杂昧?/p>
bd_index = torch.where(s_label != o_label)[0]
語句來選出滿足條件的下標(biāo)，這樣做可能返回一個(gè)空列表（不滿足條件時(shí)），因?yàn)楹罄m(xù)有用到 torch.log() 函數(shù)來計(jì)算，所以如果是空列表放進(jìn)去就會(huì)出現(xiàn)loss = nan，但是不同情況得具體分析，
排查的過程最好用的就是使用語句
with torch.autograd.detect_anomaly():
來將訓(xùn)練代碼包裹起來（如下圖所示），這樣就能迅速定位到出現(xiàn)空值的點(diǎn)（平時(shí)訓(xùn)練時(shí)得去掉，會(huì)拖慢速度）
最終定位到 torch.log() 處，最終解決辦法就是加上常量 log_prob = torch.log(prob + 1e-7) 這樣就不會(huì)空值
- 運(yùn)行成功：
總結(jié)
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
有些時(shí)候在項(xiàng)目中，使用配置文件來配置一些靈活的參數(shù)是比較常見的事，因?yàn)檫@會(huì)使得代碼的維護(hù)變得更方便，而ini配置文件是比較常用的一種，今天介紹用ConfigParser模塊來解析ini配置文件，感興趣的朋友一起看看吧2023-01-01
這篇文章主要介紹了Python日志模塊logging基本用法,結(jié)合實(shí)例形式分析了日志模塊logging的功能、常用函數(shù)、相關(guān)使用技巧與注意事項(xiàng),需要的朋友可以參考下2018-08-08
這篇文章主要介紹了Python函數(shù)的迭代器與生成器的相關(guān)知識(shí)，本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-06-06
這篇文章主要為大家詳細(xì)介紹了pygame實(shí)現(xiàn)貪吃蛇游戲，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2022-01-01
Python 抓取動(dòng)態(tài)網(wǎng)頁內(nèi)容方案詳解
這篇文章主要介紹了Python 抓取動(dòng)態(tài)網(wǎng)頁內(nèi)容方案詳解,首先通過Chrome的工具來進(jìn)行分析，然后再使用python進(jìn)行處理，最終得到我們需要的內(nèi)容，非常的方便，這里也算是給大家提供一個(gè)思路2014-12-12
這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)簡單的井字棋小游戲，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2022-04-04
Python實(shí)現(xiàn)獲取磁盤剩余空間的2種方法
這篇文章主要介紹了Python實(shí)現(xiàn)獲取磁盤剩余空間的2種方法,結(jié)合具體實(shí)例形式分析了Python操作計(jì)算機(jī)硬件的相關(guān)實(shí)現(xiàn)技巧,需要的朋友可以參考下2017-06-06
這篇文章主要介紹了Python不支持 i ++ 語法的原因解析,本文給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-07-07
Numpy中np.dot與np.matmul的區(qū)別詳解
本文主要介紹了Numpy中np.dot與np.matmul的區(qū)別詳解，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-02-02
在Linux下使用Python的matplotlib繪制數(shù)據(jù)圖的教程
這篇文章主要介紹了在Linux下使用Python的matplotlib繪制數(shù)據(jù)圖的教程,matplotlib基于Numpy進(jìn)行科學(xué)計(jì)算上的延伸,需要的朋友可以參考下2015-06-06