pytorch多GPU并行運(yùn)算的實(shí)現(xiàn)
Pytorch多GPU運(yùn)行
設(shè)置可用GPU環(huán)境變量。例如，使用0號(hào)和1號(hào)GPU'
os.environ["CUDA_VISIBLE_DEVICES"] = '0,1'
設(shè)置模型參數(shù)放置到多個(gè)GPU上。在pytorch1.0之后的版本中，多GPU運(yùn)行變得十分方便，先將模型的參數(shù)設(shè)置并行
if torch.cuda.device_count() > 1:
print("Let's use", torch.cuda.device_count(), "GPUs!")
model = nn.DataParallel(model)
將模型參數(shù)設(shè)置使用GPU運(yùn)行
if torch.cuda.is_available():
model.cuda()
踩坑記錄
在訓(xùn)練中，需要使用驗(yàn)證集/測(cè)試集對(duì)目前的準(zhǔn)確率進(jìn)行測(cè)試，驗(yàn)證集/測(cè)試集的加載也會(huì)占用部分顯存，所以在訓(xùn)練開始時(shí)，不要將所有顯存都幾乎占滿，稍微留一些顯存給訓(xùn)練過程中的測(cè)試環(huán)節(jié)
pytorch并行后，假設(shè)batchsize設(shè)置為64，表示每張并行使用的GPU都使用batchsize=64來計(jì)算（單張卡使用時(shí)，使用batchsize=64比較合適時(shí)，多張卡并行時(shí)，batchsize仍為64比較合適，而不是64*并行卡數(shù)）。
參考
https://www.zhihu.com/question/67726969
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
Python實(shí)現(xiàn)讀取郵箱中的郵件功能示例【含文本及附件】
這篇文章主要介紹了Python實(shí)現(xiàn)讀取郵箱中的郵件功能,可讀取郵件文本及附件的功能,涉及Python針對(duì)郵件的獲取、分析、保存等相關(guān)操作技巧,需要的朋友可以參考下2017-08-08
Python基本數(shù)據(jù)結(jié)構(gòu)之字典類型dict用法分析
這篇文章主要介紹了Python基本數(shù)據(jù)結(jié)構(gòu)之字典類型dict用法,結(jié)合實(shí)例形式分析了Python字典類型dict概念、原理、定義及基本使用技巧,需要的朋友可以參考下2019-06-06
今天小編就為大家分享一篇python 實(shí)現(xiàn)GUI(圖形用戶界面)編程詳解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2021-08-08
對(duì)python 匹配字符串開頭和結(jié)尾的方法詳解
今天小編就為大家分享一篇對(duì)python 匹配字符串開頭和結(jié)尾的方法詳解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-10-10
這篇文章主要介紹了Python中的變量、引用、拷貝和作用域的相關(guān)問題,是Python學(xué)習(xí)過程當(dāng)中必會(huì)的基礎(chǔ)知識(shí),需要的朋友可以參考下2015-04-04
Python實(shí)現(xiàn)讀取大量Excel文件并跨文件批量計(jì)算平均值
這篇文章主要為大家詳細(xì)介紹了如何利用Python語言，實(shí)現(xiàn)對(duì)多個(gè)不同Excel文件進(jìn)行數(shù)據(jù)讀取與平均值計(jì)算的方法，感興趣的可以了解一下2023-02-02
關(guān)于numpy.polyfit()與Stats.linregress()方法最小二乘近似擬合斜率對(duì)比
這篇文章主要介紹了關(guān)于numpy.polyfit()與Stats.linregress()方法最小二乘近似擬合斜率對(duì)比,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-04-04
這篇文章主要為大家介紹了Django ContentType組件，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助2021-12-12
利用OpenCV實(shí)現(xiàn)質(zhì)心跟蹤算法
質(zhì)心跟蹤算法不是正統(tǒng)的目標(biāo)跟蹤，而是在多目標(biāo)跟蹤中結(jié)合目標(biāo)檢測(cè)算法不同幀之間的相同目標(biāo)做一個(gè)link。本文將利用OpenCV實(shí)現(xiàn)質(zhì)心跟蹤算法，感興趣的可以試一試2022-01-01
python實(shí)現(xiàn)數(shù)組平移K位問題
這篇文章主要介紹了python實(shí)現(xiàn)數(shù)組平移K位問題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2023-02-02