Pytorch運(yùn)行過(guò)程中解決出現(xiàn)內(nèi)存不足的問(wèn)題

更新時(shí)間：2024年02月26日 09:38:36 作者：Threetiff

內(nèi)存不足是很多人感到頭疼的問(wèn)題,本文主要介紹了Pytorch運(yùn)行過(guò)程中解決出現(xiàn)內(nèi)存不足的問(wèn)題,具有一定的參考價(jià)值,感興趣的可以了解一下

1. 前提

利用Transformer模型進(jìn)行O3濃度的反演

2. 問(wèn)題

2.1 速度慢

一開(kāi)始模型是在CPU上面跑的，為了加快速度，我改成了在GPU上跑

方法如下：

1、驗(yàn)證pytorch是否存在GPU版本
在Pycharm命令行輸入

import torch

print(torch.cuda.is_available)
# 若輸出為True,則存在GPU版本
# 若輸出為False,則不存在GPU版本

我的輸出為True，說(shuō)明pytorch是存在GPU版本的

2、將模型從CPU版本轉(zhuǎn)換到GPU版本

聲明使用GPU（指定具體的卡）
PS：torch.device()是裝torch.Tensor的一個(gè)空間。

device=torch.device('cuda' if torch.cuda.is_available() else 'cpu')
# 'cuda' 這里如果沒(méi)有指定具體的卡號(hào),系統(tǒng)默認(rèn)cuda:0
device = torch.device('cuda:2') 		# 使用2號(hào)卡

將模型（model）加載到GPU上

model = Transformer()	#例子中，采用Transformer模型
model.to(device)

將數(shù)據(jù)和標(biāo)簽放到GPU上【注意！什么數(shù)據(jù)可以被放入GPU-Tensor類型的數(shù)據(jù)】

# 只有Tensor類型的數(shù)據(jù)可以放入GPU中
# 可以一個(gè)個(gè)【batch_size】進(jìn)行轉(zhuǎn)換
inputs = inputs.to(device)
labels = labels.to(device)

如果結(jié)果還是顯示你是在CPU上進(jìn)行訓(xùn)練，要不就是模型沒(méi)有加進(jìn)去，要不就是數(shù)據(jù)沒(méi)有加進(jìn)去

2.2 內(nèi)存不足

在使用CPU時(shí)，出現(xiàn)了內(nèi)存不足的情況

RuntimeError: [enforce fail at C:\cb\pytorch_1000000000000\work\c10\core\impl\alloc_cpu.cpp:72] data. DefaultCPUAllocator: not enough memory: you tried to allocate 280410627200 bytes.

在使用GPU時(shí)，出現(xiàn)了內(nèi)存不足的情況

torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 261.15 GiB (GPU 0; 8.00 GiB total capacity; 487.30 MiB already allocated; 5.71 GiB free; 506.00 MiB reserved in total by PyTorch) If reserved memory is >> allocated memory try sett

我的模型在訓(xùn)練的時(shí)候沒(méi)有問(wèn)題，在進(jìn)行預(yù)測(cè)的時(shí)候，總是出現(xiàn)內(nèi)存不足（1）一開(kāi)始我以為是batch_size大小的問(wèn)題，在從128更改到4后，發(fā)現(xiàn)依舊存在問(wèn)題，這說(shuō)明不是batch_size大小的問(wèn)題。

（2）然后，我猜測(cè)是反演過(guò)程的問(wèn)題
我在進(jìn)行模型反演的過(guò)程中，直接將全部數(shù)據(jù)輸入到模型model中（大概有10萬(wàn)行），為了驗(yàn)證這個(gè)問(wèn)題，我添加了一個(gè)for循環(huán)，一個(gè)一個(gè)數(shù)據(jù)的反演

在這里插入圖片描述

問(wèn)題解決！

學(xué)習(xí)鏈接：

pytorch 中判斷和指定模型和數(shù)據(jù)在GPU或CPU上–有用
Pytorch | GPU | 將代碼加載到GPU上運(yùn)行
pytorch中cuda out of memory問(wèn)題

到此這篇關(guān)于Pytorch運(yùn)行過(guò)程中解決出現(xiàn)內(nèi)存不足的問(wèn)題的文章就介紹到這了,更多相關(guān)Pytorch 內(nèi)存不足內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: