docker?vllm開機啟動方式
更新時間:2026年05月13日 08:58:09 作者:AI算法網(wǎng)奇
文章內(nèi)容是關(guān)于vllm啟動大模型的個人經(jīng)驗總結(jié),主要涉及啟動腳本中的interval參數(shù)設(shè)置,以及重啟驗證的步驟,建議大家參考并支持腳本之家
vllm 啟動inter val大模型
/workspace/.devcontainer/devcontainer.json
{
"name": "vLLM Dev Container",
"image": "vllm/vllm-openai:v0.11.0",
"runArgs": ["--gpus", "all",
"-p", "8000:8000",
"-p", "8080:8080",
"--restart=unless-stopped"],
"mounts": [
"source=/data/lbg/models,target=/data/lbg/models,type=bind",
"source=/data/lbg/latex_fanyi/,target=/workspace,type=bind"
],
"workspaceFolder": "/workspace",
"postCreateCommand": "pip install --ignore-installed blinker==1.9.0 flask flask-cors requests && cd /workspace && (vllm serve /data/lbg/models/brandonbeiler_InternVL3_5-8B-FP8-Dynamic --quantization compressed-tensors --served-model-name internvl3_5-8b --trust-remote-code --max-model-len 2048 --tensor-parallel-size 1 &) && sleep 10 && python3 /workspace/server.py",
"customizations": {
"vscode": {
"extensions": [
"ms-python.python",
"ms-python.vscode-pylance"
]
}
}
}重啟驗證
# 手動停止容器,看它是否會自動重啟 docker stop latex-ai-container # 等待 15 秒 sleep 15 # 檢查容器是否自動啟動 docker ps | grep latex-ai-container 預期結(jié)果:容器應該自動重新啟動(因為 unless-stopped 策略)。 3. 測試系統(tǒng)重啟(最終驗證) bash # 重啟整個系統(tǒng) sudo reboot # 系統(tǒng)重啟后,重新登錄,執(zhí)行: docker ps | grep latex-ai-container curl http://localhost:8080/health
總結(jié)
以上為個人經(jīng)驗,希望能給大家一個參考,也希望大家多多支持腳本之家。
相關(guān)文章
Docker Redis本地能Ping通但6379端口連不上的排查與解決方法
在 Linux 服務器上部署 Redis Docker 容器,本地連接正常,但遠程主機 telnet 端口不通,經(jīng)過層層排查,最終發(fā)現(xiàn)是 Linux 內(nèi)核參數(shù) net.ipv4.ip_forward 被關(guān)閉導致的,本文記錄了完整的排查思路與解決方案,需要的朋友可以參考下2026-05-05
基于Docker結(jié)合Canal實現(xiàn)MySQL實時增量數(shù)據(jù)傳輸功能
這篇文章主要介紹了基于Docker結(jié)合Canal實現(xiàn)MySQL實時增量數(shù)據(jù)傳輸功能,本文給圖文并茂給大家介紹的非常詳細,具有一定的參考借鑒價值,需要的朋友可以參考下2019-07-07
Docker實現(xiàn)容器化的分布式鎖服務RedisLock的快速搭建
本文主要介紹了Docker實現(xiàn)容器化的分布式鎖服務RedisLock的快速搭建,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2026-04-04
Docker容器使用Arthas監(jiān)控Java應用的完整指南
這篇文章主要為大家詳細介紹了如何在運行中的 Docker 容器里,為目標 Java 進程快速注入 Arthas 并進行線上診斷,感興趣的小伙伴可以了解一下2025-08-08
Docker環(huán)境下Redis Lua腳本部署與執(zhí)行方式
這篇文章主要介紹了Docker環(huán)境下Redis Lua腳本部署與執(zhí)行方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2026-03-03

