最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

docker?vllm開機啟動方式

 更新時間:2026年05月13日 08:58:09   作者:AI算法網(wǎng)奇  
文章內(nèi)容是關(guān)于vllm啟動大模型的個人經(jīng)驗總結(jié),主要涉及啟動腳本中的interval參數(shù)設(shè)置,以及重啟驗證的步驟,建議大家參考并支持腳本之家

vllm 啟動inter val大模型

/workspace/.devcontainer/devcontainer.json

{
    "name": "vLLM Dev Container",
    "image": "vllm/vllm-openai:v0.11.0",
    "runArgs": ["--gpus", "all",
               "-p", "8000:8000",
               "-p", "8080:8080",
               "--restart=unless-stopped"],
    "mounts": [
        "source=/data/lbg/models,target=/data/lbg/models,type=bind",
        "source=/data/lbg/latex_fanyi/,target=/workspace,type=bind"
    ],
    "workspaceFolder": "/workspace",
    "postCreateCommand": "pip install --ignore-installed blinker==1.9.0 flask flask-cors requests && cd /workspace && (vllm serve /data/lbg/models/brandonbeiler_InternVL3_5-8B-FP8-Dynamic --quantization compressed-tensors --served-model-name internvl3_5-8b --trust-remote-code --max-model-len 2048 --tensor-parallel-size 1 &) && sleep 10 && python3 /workspace/server.py",
    "customizations": {
        "vscode": {
            "extensions": [
                "ms-python.python",
                "ms-python.vscode-pylance"
            ]
        }
    }
}

重啟驗證

# 手動停止容器,看它是否會自動重啟
docker stop latex-ai-container
# 等待 15 秒
sleep 15
# 檢查容器是否自動啟動
docker ps | grep latex-ai-container
預期結(jié)果:容器應該自動重新啟動(因為 unless-stopped 策略)。
3. 測試系統(tǒng)重啟(最終驗證)
bash
# 重啟整個系統(tǒng)
sudo reboot
# 系統(tǒng)重啟后,重新登錄,執(zhí)行:
docker ps | grep latex-ai-container
curl http://localhost:8080/health

總結(jié)

以上為個人經(jīng)驗,希望能給大家一個參考,也希望大家多多支持腳本之家。

相關(guān)文章

最新評論

五原县| 博湖县| 南川市| 福泉市| 同仁县| 湖州市| 密山市| 兴国县| 长海县| 乌恰县| 青神县| 寿宁县| 赞皇县| 资源县| 贺州市| 湖北省| 屯昌县| 禹城市| 呼伦贝尔市| 库伦旗| 蓬安县| 阳城县| 阳春市| 永清县| 大姚县| 厦门市| 若尔盖县| 永修县| 定西市| 兴化市| 博湖县| 长宁区| 株洲市| 大英县| 宝山区| 福鼎市| 白水县| 五河县| 贺州市| 赤水市| 射洪县|