模型訓(xùn)練時GPU利用率太低的原因及解決
更新時間：2023年02月22日 08:55:07 作者：. 小王同學(xué).
這篇文章主要介紹了模型訓(xùn)練時GPU利用率太低的原因及解決方案，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教
模型訓(xùn)練時GPU利用率太低的原因
最近在訓(xùn)練SSD模型時發(fā)現(xiàn)GPU的利用率只有8%，而CPU的利用率卻非常高。
后來了解到，一般使用CPU進行數(shù)據(jù)的讀取和預(yù)處理，而使用GPU進行模型的正向傳播和反向傳播。由于CPU數(shù)據(jù)讀取跟不上（讀到內(nèi)存+多線程+二進制文件），而GPU的處理速度太快，導(dǎo)致GPU的利用率不高。
最后總結(jié)一下，有的時候模型訓(xùn)練慢并不是因為顯卡不行或者模型太大，而是在跑模型過程中有一些其他的操作導(dǎo)致速度很慢，尤其是文件的IO操作，這會導(dǎo)致GPU得不到連續(xù)性使用，整體速度特別慢。
問題的解決辦法
1，關(guān)閉一些日志記錄，減少日志IO操作頻率。
2，NVIDA提供了DALI庫，可以將數(shù)據(jù)處理轉(zhuǎn)移到GPU上。
模型訓(xùn)練GPU利用率低，占用低怎么破
GPU 的顯存占用和算力利用直接影響模型的訓(xùn)練速度
GPU 顯存占用低問題
1、提高batch_size
2、提高模型輸入尺寸
3、增加模型深度
推薦：優(yōu)先提高batch_size, 其他方法會對模型結(jié)構(gòu)產(chǎn)生影響
GPU利用率低問題
1、提高線程數(shù)
2、打開pin_memory
# 在pytorch 加載數(shù)據(jù)時提高線程數(shù)，打開pin_memory torch.utils.data.DataLoader(image_datasets[x], ? ? ? ? ? ? ? ? ? ? ? ? ? ? batch_size=batch_size,? ? ? ? ? ? ? ? ? ? ? ? ? ? ? shuffle=True, ? ? ? ? ? ? ? ? ? ? ? ? ? ? num_workers=8, ? ? ? ? ? ? ? ? ? ? ? ? ? ? pin_memory=True)
總結(jié)
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
流式模式,顧名思義,即通過流的方式持續(xù)發(fā)送數(shù)據(jù)而不是一次性全部返回,與傳統(tǒng)的 HTTP 請求模式不同,流式模式的特點在于服務(wù)器可以在連接打開后持續(xù)地向客戶端發(fā)送數(shù)據(jù),本文給大家介紹了Python如何基于SSE實現(xiàn)流式模式,需要的朋友可以參考下2024-11-11
讀寫文件是最常見的IO操作,Python內(nèi)置了讀寫文件的函數(shù),下面這篇文章主要給大家介紹了關(guān)于Python文件讀寫操作的相關(guān)資料,文中通過實例代碼介紹的非常詳細,需要的朋友可以參考下2023-05-05
這篇文章主要介紹了詳解Python3除法之真除法、截斷除法和下取整對比，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-05-05
Python區(qū)塊鏈創(chuàng)建Block Class教程
這篇文章主要為大家介紹了Python區(qū)塊鏈創(chuàng)建Block Class教程詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-05-05
python實現(xiàn)動態(tài)規(guī)劃算法的示例代碼
本文主要介紹了python實現(xiàn)動態(tài)規(guī)劃算法的示例代碼，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-02-02
這篇文章主要介紹了python版本的仿windows計劃任務(wù)工具,計劃任務(wù)工具根據(jù)自己設(shè)定的具體時間，頻率，命令等屬性來規(guī)定所要執(zhí)行的計劃,當(dāng)然功能不是很全大家可以補充2018-04-04
Django使用中間鍵實現(xiàn)csrf認(rèn)證詳解
這篇文章主要介紹了Django使用中間鍵實現(xiàn)csrf認(rèn)證詳解,文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2019-07-07
這篇文章主要介紹了pycharm顯示遠程圖片的實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-11-11
Python實現(xiàn)病毒仿真器的方法示例(附demo)
這篇文章主要介紹了Python實現(xiàn)病毒仿真器的方法示例，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-02-02
在Python中,type()函數(shù)是一個非常有用的工具,它可以查看變量或?qū)ο蟮臄?shù)據(jù)類型,本文主要介紹了Python中type()函數(shù)的具體使用,感興趣的可以一起來了解一下2024-01-01