使用Docker部署GPUStack過程

更新時間：2026年01月14日 08:56:09 作者：咕咚楊

GPUStack是一款基于Docker的GPU計算平臺,支持異構GPU集群,通過簡單的Docker命令即可啟動GPUStack服務器和worker,并通過Web界面進行管理和監(jiān)控

運行GPUStack

本次部署使用nvidia cuda機器，部署方式使用docker：

執(zhí)行以下命令，啟動 GPUStack 服務器和內置 worker。

docker run -d --name gpustack \
    --restart=unless-stopped \
    --gpus all \
    -p 7080:80 \
    -p 10150:10150 \
    -p 40064-40131:40064-40131 \
    --ipc=host \
    -v /raid/quxj/gpustack-data:/var/lib/gpustack \
    gpustack/gpustack \
    --worker-ip $ip

頁面登錄： http://ip:7080

ui頁面默認用戶： admin

獲取admin默認密碼：

docker exec -it gpustack cat /var/lib/gpustack/initial_admin_password

界面效果：

添加worker(可選)

您可以向 GPUStack 添加更多 GPU 節(jié)點以形成 GPU 集群。您需要在其他 GPU 節(jié)點上添加 worker 并指定 and 參數以加入 GPUStack。--server-url--token

要獲取用于添加 worker 的 token，請在 GPUStack 服務器節(jié)點上運行以下命令：

docker exec -it gpustack cat /var/lib/gpustack/token

要以 Worker 形式啟動 GPUStack 并將其注冊到 GPUStack 服務器，請在 Worker 節(jié)點上運行以下命令。請務必將 URL、令牌和節(jié)點 IP 替換為您的特定值：

docker run -d --name gpustack \
    --restart=unless-stopped \
    --gpus all \
    -p 10150:10150 \
    -p 40064-40131:40064-40131 \
    --ipc=host \
    -v gpustack-data:/var/lib/gpustack \
    gpustack/gpustack \
    --server-url http://your_gpustack_url --token your_gpustack_token --worker-ip your_worker_host_ip

注意：

支持異構集群。無論是什么類型的設備，您都可以通過指定 and 參數將其作為工作程序添加到當前 GPUStack 中。--server-url--token
您可以通過將其他標志附加到 docker run 命令來為命令設置其他標志。
您可以使用 flag 或 flag 來允許容器訪問主機的共享內存。vLLM 和 pyTorch 使用它來在后臺的進程之間共享數據，特別是用于張量并行推理。--ipc=host--shm-size
該標志用于確保跨工作程序進行分布式推理的連接。如果您不需要跨工作程序進行分布式推理，則可以省略此標志。-p 40064-40131:40064-40131