快捷導(dǎo)航

RuntimeError:CUDA?out?of?memory多種場景下的解決方案

更新時間：2024年02月27日 10:59:35 作者：高斯小哥

若遇到RuntimeError:?CUDA?out?of?memory錯誤，通常意味著GPU內(nèi)存不足以處理當(dāng)前的計算需求，本文就來介紹一下多種場景下的解決方案，具有一定的參考價值，感興趣的可以了解一下

?? 一、引言

隨著深度學(xué)習(xí)的繁榮發(fā)展，GPU已成為推動這一浪潮的核心動力。然而，正如任何強(qiáng)大的工具一樣，GPU也有其局限性。其中最常見且令人頭疼的問題之一就是CUDA內(nèi)存溢出，或稱為“RuntimeError: CUDA out of memory”。這一錯誤不僅可能中斷您寶貴的訓(xùn)練過程，還可能導(dǎo)致資源浪費和時間損失。但別擔(dān)心，本文將帶您深入了解CUDA內(nèi)存溢出的多種場景，并提供實用的解決方案，助您輕松駕馭GPU內(nèi)存管理，讓深度學(xué)習(xí)之路更加順暢無阻！

?? 二、多種場景下的解決方案

?? 1. 【首次運(yùn)行完整項目時(如GitHub項目)報錯】場景下的解決方案

?? 當(dāng)您在嘗試運(yùn)行GitHub上的完整項目時，若遇到RuntimeError: CUDA out of memory錯誤，通常意味著GPU內(nèi)存不足以處理當(dāng)前的計算需求。以下是一系列針對此問題的實用解決方案。 ??

??【方案一】：調(diào)整批量大小

如果您??當(dāng)前的批量大小（Batch Size）大于1，建議逐步減小它。選擇一個較小的批量大小，如從256減少到128、64或更低，通常能有效降低GPU內(nèi)存的使用。同時，請確保同時調(diào)整??訓(xùn)練、測試和驗證數(shù)據(jù)集的Batch Size。
即使當(dāng)??批量大小已經(jīng)設(shè)置為1時，如果仍然遇到內(nèi)存溢出錯誤，您還有以下兩種選擇（但??首先，請確保已檢查并處理【方案二和方案三】提到的情況）：
- ?? 使用更高顯存的GPU：考慮升級您的硬件設(shè)備或租賃具有更高顯存的云服務(wù)器來進(jìn)行訓(xùn)練。
- ??? 優(yōu)化模型結(jié)構(gòu)：通過減少模型層數(shù)、降低特征圖維度或采用其他內(nèi)存優(yōu)化技術(shù)，使模型更輕量化。

??【方案二】：檢查并避免不必要的GPU張量累積

?? 在訓(xùn)練過程中，確保不要累積GPU上的張量，因為這會導(dǎo)致顯存占用逐漸增加。例如，在記錄每個batch的損失時，不要簡單地將loss張量相加，而是應(yīng)該提取其值并存儲在CPU內(nèi)存中。

報錯代碼關(guān)鍵片段示例：

total_loss = 0.0  # 初始化為浮點數(shù)，而不是GPU張量
for i in range(100):
    optimizer.zero_grad()
    output = model(data_input)
    loss = criterion(output)
    loss.backward()
    optimizer.step()
    total_loss += loss # 累積GPU上的張量

修正后的代碼示例：

total_loss = 0.0  # 初始化為浮點數(shù)，而不是GPU張量
for i in range(100):
    optimizer.zero_grad()
    output = model(data_input)
    loss = criterion(output)
    loss.backward()
    optimizer.step()
    # 使用.item()提取loss的值，并將其添加到total_loss中
    total_loss += loss.item()

通過這樣修改，您可以避免不必要的GPU顯存占用，從而減少內(nèi)存溢出的風(fēng)險。 ??

??【方案三】：釋放未使用的緩存

在每個epoch或迭代結(jié)束后，使用torch.cuda.empty_cache()來釋放未使用的CUDA緩存。這有助于回收不再需要的內(nèi)存，為接下來的計算任務(wù)騰出空間。 ??

希望這些解決方案能幫助您順利運(yùn)行GitHub項目！加油！??

?? 2. 【前幾次都順利執(zhí)行，突然報錯】場景下的解決方案

?? 當(dāng)你遇到前幾次執(zhí)行都順利，但突然報錯的情況，首先要懷疑的是GPU顯存溢出。??

?? 為了診斷問題，你可以使用nvidia-smi命令來查看顯存的占用情況，就像下圖所展示的。

GPU顯存占用情況

?? 從上圖中我們可以看到，編號為7的GPU顯存占用較高，這可能導(dǎo)致新任務(wù)無法分配足夠的顯存而報錯。??

針對這種情況，你可以嘗試以下解決方案：

檢查服務(wù)器使用情況：
- 多人共用服務(wù)器：?? 如果服務(wù)器由多人共用，可能存在其他用戶占用大量顯存的情況。你可以嘗試切換到其他顯存較充足的GPU上運(yùn)行你的任務(wù)，通過設(shè)置環(huán)境變量CUDA_VISIBLE_DEVICES來實現(xiàn)，例如os.environ['CUDA_VISIBLE_DEVICES'] = "1"。
- 單人使用服務(wù)器：?? 若服務(wù)器僅由你一人使用，檢查是否有其他程序或任務(wù)正在同一GPU上運(yùn)行。?? 如果有，考慮停止或暫停這些任務(wù)，釋放顯存給當(dāng)前需要的任務(wù)。

希望這些解決方案能夠幫助你快速定位和解決問題！????