pytorch 指定gpu訓(xùn)練與多gpu并行訓(xùn)練示例
更新時間：2019年12月31日 08:40:36 作者：益達888
今天小編就為大家分享一篇pytorch 指定gpu訓(xùn)練與多gpu并行訓(xùn)練示例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
一. 指定一個gpu訓(xùn)練的兩種方法：
1.代碼中指定
import torch torch.cuda.set_device(id)
2.終端中指定
CUDA_VISIBLE_DEVICES=1 python 你的程序
其中id就是你的gpu編號
二. 多gpu并行訓(xùn)練：
torch.nn.DataParallel(module, device_ids=None, output_device=None, dim=0)
該函數(shù)實現(xiàn)了在module級別上的數(shù)據(jù)并行使用，注意batch size要大于GPU的數(shù)量。
參數(shù) ：
module：需要多GPU訓(xùn)練的網(wǎng)絡(luò)模型
device_ids： GPU的編號（默認全部GPU，或[0,1] ,[0,1,2]）
output_device：（默認是device_ids[0])
dim：tensors被分散的維度，默認是0
在保存模型時要注意要加上"module",例如：
network.module.state_dict()
以上這篇pytorch 指定gpu訓(xùn)練與多gpu并行訓(xùn)練示例就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
在本篇文章小編給大家整理的是關(guān)于Django的CVB實例詳解內(nèi)容，有需要的朋友們可以跟著學(xué)習(xí)下。2020-02-02
Python使用多進程運行含有任意個參數(shù)的函數(shù)
這篇文章主要介紹了Python使用多進程運行含有任意個參數(shù)的函數(shù)，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-05-05
這篇文章主要介紹了python實現(xiàn)的漢諾塔算法,結(jié)合實例形式分析了漢諾塔算法的原理、實現(xiàn)方法及相關(guān)操作注意事項,需要的朋友可以參考下2019-10-10
最近在做項目的時候，突然想到的這個問題，覺得比較有趣，就實際測試了一下，考慮到以后可能會有用，就總結(jié)下來寫了這篇文章，剛興趣的朋友們可以參考學(xué)習(xí)下，下面來跟著小編一起看看吧。2016-12-12
python之隨機數(shù)函數(shù)的實現(xiàn)示例
這篇文章主要介紹了python之隨機數(shù)函數(shù)的實現(xiàn)示例，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-12-12
這篇文章主要介紹了一篇文章快速了解Python的GIL，具有一定借鑒價值,需要的朋友可以參考下2018-01-01
這篇文章主要給大家介紹了Python中關(guān)于浮點數(shù)的冷知識，文中通過示例代碼介紹的非常詳細，對大家學(xué)習(xí)或者使用Python具有一定的參考學(xué)習(xí)價值，需要的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧2019-09-09
這篇文章主要介紹了Python編寫屏幕截圖程序方法,本文講解使用開源程序pywin32實現(xiàn)屏幕截圖和讀取剪切板功能,需要的朋友可以參考下2015-02-02
flask是python web開發(fā)的常用框架之一。本文將講述flask如何實現(xiàn)修改密碼和免密登錄功能2021-05-05
今天小編就為大家分享一篇Python利用FFT進行簡單濾波的實現(xiàn)，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-02-02