解決Pytorch 訓(xùn)練與測試時爆顯存(out of memory)的問題
更新時間：2019年08月20日 13:45:37 作者：xiaoxifei
今天小編就為大家分享一篇解決Pytorch 訓(xùn)練與測試時爆顯存(out of memory)的問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
Pytorch 訓(xùn)練時有時候會因為加載的東西過多而爆顯存，有些時候這種情況還可以使用cuda的清理技術(shù)進(jìn)行修整，當(dāng)然如果模型實在太大，那也沒辦法。
使用torch.cuda.empty_cache()刪除一些不需要的變量代碼示例如下：
try:
output = model(input)
except RuntimeError as exception:
if "out of memory" in str(exception):
print("WARNING: out of memory")
if hasattr(torch.cuda, 'empty_cache'):
torch.cuda.empty_cache()
else:
raise exception
測試的時候爆顯存有可能是忘記設(shè)置no_grad, 示例代碼如下：
with torch.no_grad():
for ii,(inputs,filelist) in tqdm(enumerate(test_loader), desc='predict'):
if opt.use_gpu:
inputs = inputs.cuda()
if len(inputs.shape) < 4:
inputs = inputs.unsqueeze(1)
else:
if len(inputs.shape) < 4:
inputs = torch.transpose(inputs, 1, 2)
inputs = inputs.unsqueeze(1)
以上這篇解決Pytorch 訓(xùn)練與測試時爆顯存(out of memory)的問題就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
Python使用pylab庫實現(xiàn)畫線功能的方法詳解
這篇文章主要介紹了Python使用pylab庫實現(xiàn)畫線功能的方法,結(jié)合具體實例分析了Python使用pylab庫的相關(guān)函數(shù)實現(xiàn)畫線功能的操作技巧,并附帶說明了相關(guān)函數(shù)與參數(shù)功能,需要的朋友可以參考下2017-06-06
這篇文章主要介紹了關(guān)于反爬蟲的一些簡單總結(jié)，具有一定借鑒價值，需要的朋友可以參考下。2017-12-12
python?Sweetviz探索性數(shù)據(jù)可視化分析庫使用特征詳解
這篇文章主要為大家介紹了python?Sweetviz探索性數(shù)據(jù)可視化分析庫特征使用詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2024-01-01
Pandas是一個非常強(qiáng)大的數(shù)據(jù)處理庫,可以方便地讀取、處理和寫入CSV文件,下面我們就來看看Python如何使用Pandas讀取表頭在中間行的CSV吧2024-11-11
這篇文章主要介紹了淺談pytorch中的BN層的注意事項，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-06-06
這篇文章主要為大家介紹了Python中字典有關(guān)的常見函數(shù)的使用方法，以及字典遍歷的方法。文中通過示例代碼為我們進(jìn)行了詳細(xì)介紹，對學(xué)習(xí)Python字典有一定幫助，需要的可以參考一下2022-06-06
這篇文章主要介紹了Python venv虛擬環(huán)境配置過程解析,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-07-07
這篇文章主要介紹了python?+?pyqt5制作一個串口助手,串口助手是串口通信使用的工具，為整合知識，打算做個串口助手，本文給大家講解的非常詳細(xì)，需要的朋友可以參考下2023-04-04
最近發(fā)現(xiàn)在使用pycharm編寫python代碼的時候發(fā)現(xiàn)沒有了代碼提示的功能,下面這篇文章主要給大家介紹了關(guān)于PyCharm無代碼提示解決方案的相關(guān)資料,文中通過實例代碼介紹的非常詳細(xì),需要的朋友可以參考下2023-06-06
這篇文章主要介紹了詳解 Python中LEGB和閉包及裝飾器的相關(guān)資料,主要介紹了函數(shù)作用域和閉包的理解和使用方法及Python中的裝飾器，需要的朋友可以參考下2017-08-08