快捷導(dǎo)航

在Kubernetes環(huán)境下使用Docker實現(xiàn)GPU支持的完整方案

更新時間：2025年05月12日 09:03:24 作者：gs80140

本文將介紹如何在?Kubernetes?環(huán)境下,使用?Docker?容器運行時實現(xiàn)?NVIDIA?GPU?加速支持,包括環(huán)境準(zhǔn)備、安裝?nvidia-docker2、K8s?device?plugin?配置等內(nèi)容,需要的朋友可以參考下

一、背景說明
二、目標(biāo)
三、環(huán)境準(zhǔn)備
四、安裝 NVIDIA Container Toolkit（nvidia-docker2）
五、配置 Docker 支持 NVIDIA Runtime
六、測試 Docker 能否使用 GPU
七、部署 Kubernetes GPU 支持插件
八、部署一個 GPU Pod 測試
九、常見問題排查
十、小結(jié)

一、背景說明

Kubernetes 從 v1.20+ 開始逐步默認(rèn)使用 containerd 作為運行時，不再推薦直接使用 Docker。然而，在一些已有的生產(chǎn)環(huán)境中，Docker 仍然是默認(rèn)運行時。如果你希望在這樣的環(huán)境下運行支持 GPU 的 AI/計算類工作負(fù)載，就需要正確配置 Docker 和 NVIDIA 的相關(guān)支持組件。

二、目標(biāo)

保留 Docker 作為容器運行時
支持容器使用 NVIDIA GPU
允許 Kubernetes 調(diào)度 GPU 資源
能夠通過 YAML 定義 GPU Pod 并正常運行

三、環(huán)境準(zhǔn)備

Ubuntu 20.04+/CentOS 7.9+
安裝了 NVIDIA 驅(qū)動（nvidia-smi 正常）
Kubernetes 已安裝（使用 Docker 作為運行時）
能訪問外網(wǎng)或使用國內(nèi)代理

四、安裝 NVIDIA Container Toolkit（nvidia-docker2）

distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
sudo apt-get update
sudo apt-get install -y nvidia-docker2

五、配置 Docker 支持 NVIDIA Runtime

編輯 Docker 配置文件：

sudo nano /etc/docker/daemon.json

添加以下內(nèi)容：

{
  "default-runtime": "nvidia",
  "runtimes": {
    "nvidia": {
      "path": "nvidia-container-runtime",
      "runtimeArgs": []
    }
  }
}

重啟 Docker：

sudo systemctl restart docker

六、測試 Docker 能否使用 GPU

運行命令：

sudo docker run --rm --gpus all nvidia/12.8.1-cudnn-devel-ubuntu22.04 nvidia-smi

輸出顯卡信息即表示配置成功。

七、部署 Kubernetes GPU 支持插件

NVIDIA 官方提供了 Kubernetes GPU 插件作為 DaemonSet 運行：

kubectl apply -f https://raw.githubusercontent.com/NVIDIA/k8s-device-plugin/v0.14.1/nvidia-device-plugin.yml

八、部署一個 GPU Pod 測試

創(chuàng)建 YAML 文件 gpu-pod.yaml：

apiVersion: v1
kind: Pod
metadata:
  name: gpu-test
spec:
  containers:
  - name: cuda
    image: nvidia/cuda:12.8.1-base
    resources:
      limits:
        nvidia.com/gpu: 1
    command: ["nvidia-smi"]

部署：

kubectl apply -f gpu-pod.yaml
kubectl logs gpu-test

成功輸出 GPU 信息，即可證明 Kubernetes GPU 配置生效。

九、常見問題排查

問題	原因及解決方案
`--gpus all` 報錯	沒有配置 `nvidia` 為 Docker 的默認(rèn)運行時
Pod 提交后一直 `Pending`	沒有可用 GPU 節(jié)點；未部署 device plugin
鏡像拉取超時	網(wǎng)絡(luò)問題或 Docker Hub 被墻，可配置國內(nèi)鏡像加速器
使用 containerd 的情況如何配置 GPU？	需改用 NVIDIA Container Toolkit + containerd + hosts.toml 配置

十、小結(jié)

雖然 Kubernetes 官方推薦使用 containerd，但在已有 Docker 環(huán)境中，仍可以通過 nvidia-docker2 和 device plugin 組合，快速支持 GPU 任務(wù)調(diào)度與運行。只要配置得當(dāng)，不更換運行時也能實現(xiàn) GPU 加速能力。