pytorch 使用單個(gè)GPU與多個(gè)GPU進(jìn)行訓(xùn)練與測(cè)試的方法
如下所示：
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")#第一行代碼
model.to(device)#第二行代碼
首先是上面兩行代碼放在讀取數(shù)據(jù)之前。
mytensor = my_tensor.to(device)#第三行代碼
然后是第三行代碼。這句代碼的意思是將所有最開(kāi)始讀取數(shù)據(jù)時(shí)的tersor變量copy一份到device所指定的GPU上去，之后的運(yùn)算都在GPU上進(jìn)行。需要注意的是這句話并不像前面的兩行代碼一樣只需要寫一遍，第三行代碼需要寫的次數(shù)就等于需要保存到GPU上的tensor變量個(gè)數(shù)；一般情況下這些tensor變量都是最開(kāi)始讀取數(shù)據(jù)時(shí)的tensor變量，后面所衍生的變量自然也都在GPU之上。
以上是使用單個(gè)GPU的情況。當(dāng)你擁有多個(gè)GPU時(shí)，要想使用多個(gè)GPU進(jìn)行訓(xùn)練和測(cè)試，需要在第一二行代碼之間插上下面這樣一個(gè)判斷語(yǔ)句，其余的寫法也都是一樣的。
if torch.cuda.device_count() > 1: model = nn.DataParallel(model)
使用多個(gè)GPU的原理就是通過(guò)上面這句代碼將model在每個(gè)GPU上分別保存一份，然后對(duì)model的輸入tensor進(jìn)行自動(dòng)的分割，每個(gè)GPU計(jì)算tensor的一部分，這樣就能實(shí)現(xiàn)計(jì)算量的平均分配。在每個(gè)model計(jì)算完成之后，DataParallel將這些結(jié)果進(jìn)行收集和融合，之后再將結(jié)果返回。
以上這篇pytorch 使用單個(gè)GPU與多個(gè)GPU進(jìn)行訓(xùn)練與測(cè)試的方法就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
- pytorch 兩個(gè)GPU同時(shí)訓(xùn)練的解決方案
- pytorch使用horovod多gpu訓(xùn)練的實(shí)現(xiàn)
- 解決pytorch多GPU訓(xùn)練保存的模型,在單GPU環(huán)境下加載出錯(cuò)問(wèn)題
- pytorch 指定gpu訓(xùn)練與多gpu并行訓(xùn)練示例
- 用Pytorch訓(xùn)練CNN(數(shù)據(jù)集MNIST,使用GPU的方法)
- pytorch使用指定GPU訓(xùn)練的實(shí)例
- 關(guān)于pytorch多GPU訓(xùn)練實(shí)例與性能對(duì)比分析
- pytorch 如何在GPU上訓(xùn)練
相關(guān)文章
這篇文章主要介紹了Django框架下靜態(tài)模板的繼承操作,結(jié)合實(shí)例形式分析了Django框架模板繼承操作的相關(guān)原理與操作注意事項(xiàng),需要的朋友可以參考下2019-11-11
python內(nèi)置模塊OS?實(shí)現(xiàn)SHELL端文件處理器
這篇文章主要介紹了python內(nèi)置模塊OS實(shí)現(xiàn)SHELL端文件處理器，文章通過(guò)圍繞主題展開(kāi)詳細(xì)的內(nèi)容介紹，具有一定的參考價(jià)值，需要的小伙伴可以參考一下2022-09-09
這篇文章主要介紹了Python?seaborn?barplot畫圖案例，文章圍繞主題展開(kāi)詳細(xì)的內(nèi)容介紹，具有一定的參考價(jià)值，需要的小伙伴可以參考一下2022-07-07
利用PyCharm操作Github(倉(cāng)庫(kù)新建、更新，代碼回滾)
這篇文章主要介紹了利用PyCharm操作Github(倉(cāng)庫(kù)新建、更新，代碼回滾),文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-12-12
Python報(bào)錯(cuò)TypeError: unsupported operand的問(wèn)題分析和解決方法
TypeError: unsupported operand 是Python中常見(jiàn)的一類錯(cuò)誤,通常在嘗試對(duì)不兼容的數(shù)據(jù)類型進(jìn)行操作時(shí)發(fā)生,比如,當(dāng)你嘗試對(duì)字符串和整數(shù)進(jìn)行加法操作時(shí),Python會(huì)拋出這一錯(cuò)誤,所以本文給大家介紹了Python報(bào)錯(cuò)TypeError: unsupported operand的問(wèn)題解決2024-09-09
在?Python?中讀取?gzip?文件的過(guò)程解析
這篇文章主要介紹了在?Python?中讀取?gzip?文件,本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2023-05-05
Starship定制shell提示符實(shí)現(xiàn)信息自由
這篇文章主要介紹了Starship定制shell提示符的實(shí)現(xiàn)，讓你需要的所有信息觸手可及，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-03-03
Django動(dòng)態(tài)展示Pyecharts圖表數(shù)據(jù)的幾種方法
本文主要介紹了Django動(dòng)態(tài)展示Pyecharts圖表數(shù)據(jù)的幾種方法，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2021-08-08
本篇文章給大家總結(jié)了關(guān)于python字節(jié)碼的相關(guān)知識(shí)點(diǎn)以及知識(shí)點(diǎn)分析，對(duì)此有需要的朋友參考學(xué)習(xí)下。2018-02-02
本文主要介紹了python中sys.path.append的作用,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2025-01-01