在Ubuntu服務(wù)器上部署xinference流程
更新時間：2026年03月28日 10:33:55 作者：你喜歡喝可樂嗎？
文章主要介紹了如何拉取鏡像、啟動容器（特別是涉及GPU的容器）以及最終的訪問步驟,并強調(diào)這些是個人經(jīng)驗總結(jié),供參考
一、拉取鏡像
docker pull xprobe/xinference:latest
二、啟動容器（GPU）
docker run -d --name xinference -e XINFERENCE_MODEL_SRC=modelscope -p 9997:9997 --gpus all xprobe/xinference:latest xinference-local -H 0.0.0.0
# 啟動一個新的Docker容器 docker run # 以分離（后臺）模式運行容器 -d # 將容器命名為"xinference" --name xinference # 設(shè)置環(huán)境變量，指定Xinference的主目錄為容器內(nèi)的 -e XINFERENCE_MODEL_SRC=modelscope # 將容器的9997端口映射到主機的9997端口 -p 9997:9997 # 允許容器使用主機上的所有GPU資源 --gpus all # 使用最新版本的xprobe/xinference鏡像 xprobe/xinference:latest # 在容器內(nèi)運行xinference-local命令，并設(shè)置主機地址為0.0.0.0（允許從任何IP地址訪問） xinference-local -H 0.0.0.0
三、訪問
網(wǎng)址：http://localhost:9997
總結(jié)
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
Sudo是Unix/Linux平臺上的一個非常有用的工具，它允許系統(tǒng)管理員分配給普通用戶一些合理的“權(quán)利”，讓他們執(zhí)行一些只有超級用戶或其他 特許用戶才能完成的任務(wù)2014-03-03
作為linux系統(tǒng)管理員，經(jīng)常需要同時管理多臺機器 備份各機器的配置文件就要靠腳本了，簡單明了2009-09-09
Linux多臺服務(wù)器之間免密登錄的實現(xiàn)步驟
在日常的后端開發(fā)和運維工作中,我們經(jīng)常需要頻繁登錄不同的服務(wù)器進行部署、排查問題或上傳文件,傳統(tǒng)的基于用戶名和密碼的登錄方式既不安全又不高效,為此,我們可以利用 SSH 公鑰認(rèn)證的方式,實現(xiàn)無密碼（免密）登錄遠程服務(wù)器,下面小編給大家詳細說說2025-04-04
這篇文章主要介紹了Linux basename命令的使用方法，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-02-02
大家好，本篇文章主要講的是Linux一鍵安裝xdd plus機器人，感興趣的同學(xué)趕快來看一看吧，對你有幫助的話記得收藏一下，方便下次瀏覽2022-01-01
詳解如何備份及恢復(fù) Linux 文件權(quán)限
這篇文章主要介紹了詳解如何備份及恢復(fù) Linux 文件權(quán)限，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-03-03
rsync是一款多功能的文件同步工具,支持增量備份,減少數(shù)據(jù)傳輸時間和帶寬,它可以與不同的shell和協(xié)議配合使用,確保數(shù)據(jù)傳輸?shù)陌踩?提供了詳細的安裝和使用指南,適用于多種Linux發(fā)行版,使用戶能夠輕松掌握和應(yīng)用,Rsync的命令選項豐富2024-10-10
80端口被占用導(dǎo)致apache無法正常運行，如果80端口不是iis占用，我們可以參考下面方法來查找80端口被哪個服務(wù)占用，具體操作如下2013-05-05
詳解在Linux系統(tǒng)中如何識別和解決端口占用問題
在日常的 Linux 系統(tǒng)管理和開發(fā)過程中,端口占用是一個常見且令人頭疼的問題,無論是部署新服務(wù)、調(diào)試應(yīng)用程序,還是進行系統(tǒng)維護,遇到端口被占用都可能導(dǎo)致服務(wù)無法正常啟動或運行,本文將詳細介紹在 Linux 系統(tǒng)中如何識別和解決端口占用問題,需要的朋友可以參考下2025-01-01
在Linux系統(tǒng)中,pip 在安裝 Python 包時會使用臨時目錄（TMPDIR）,但默認(rèn)的臨時目錄可能會受到存儲空間不足或權(quán)限問題的影響,所以本文將詳細介紹如何修改 pip 的臨時目錄,并提供相關(guān)的背景知識和實用建議,需要的朋友可以參考下2025-03-03