背景       

最近幾年，人工智能技術(shù)的發(fā)展勢(shì)頭愈發(fā)強(qiáng)勁。無(wú)論是大型語(yǔ)言模型的突破，如美國(guó)OpenAI公司開(kāi)發(fā)的ChatGPT，還是中國(guó)諸家企業(yè)在自主學(xué)習(xí)系統(tǒng)領(lǐng)域的快速進(jìn)步，都展現(xiàn)了人工智能技術(shù)的前所未有的潛力和變革力量。這不僅僅是技術(shù)本身的飛速發(fā)展，更是人類對(duì)知識(shí)邊界與認(rèn)知極限的一次深度探索。從自然語(yǔ)言處理到計(jì)算機(jī)視覺(jué)，從強(qiáng)化學(xué)習(xí)到生成式AI，技術(shù)創(chuàng)新層出不窮，為人類社會(huì)帶來(lái)了前所未有的變革。

在這場(chǎng)技術(shù)革命中，我們欣喜地看到AI系統(tǒng)能夠以接近或超越人類水平的能力，完成復(fù)雜的知識(shí)推理、多任務(wù)處理以及創(chuàng)造性思考。例如，DeepSeek等中國(guó)公司開(kāi)發(fā)的智能搜索引擎，不僅在信息檢索方面取得了顯著進(jìn)展，還展現(xiàn)出獨(dú)特的領(lǐng)域適應(yīng)能力。此外，AI技術(shù)的應(yīng)用已經(jīng)滲透到各個(gè)行業(yè)，從醫(yī)療、教育到金融，每一個(gè)領(lǐng)域都在經(jīng)歷著前所未有的數(shù)字化與智能化轉(zhuǎn)型。在這個(gè)充滿挑戰(zhàn)與機(jī)遇的時(shí)代，我們需要以更加開(kāi)放和包容的心態(tài)，擁抱人工智能帶來(lái)的變革，同時(shí)也要保持對(duì)未知未來(lái)的一種敬畏與謹(jǐn)慎。

本文旨在詳細(xì)介紹如何離線搭建DeepSeek-R1，主要為企業(yè)級(jí)開(kāi)發(fā)使用。另外官方線上環(huán)境因火爆的訪問(wèn)量及持續(xù)遭受每秒上億次的Dos惡意請(qǐng)求，導(dǎo)致訪問(wèn)體驗(yàn)感不好的小伙伴也可以進(jìn)行離線搭建使用。

僅需線上體驗(yàn)的朋友可以直接跳轉(zhuǎn)官網(wǎng)鏈接。

搭建準(zhǔn)備

• 下載安裝：ollama 
• 下載安裝：docker

基礎(chǔ)概念

Ollama 是一個(gè)開(kāi)源的人工智能平臺(tái)，專注于大語(yǔ)言模型（Large Language Model, LLM）的本地部署和管理。它允許開(kāi)發(fā)者在自己的服務(wù)器上運(yùn)行多種預(yù)訓(xùn)練語(yǔ)言模型，如 GPT-3 或 ChatGPT，并通過(guò) RESTful API 提供服務(wù)。Ollama 的核心優(yōu)勢(shì)在于其高效的本地推理能力，能夠在資源有限的環(huán)境下快速響應(yīng)用戶查詢。如下附上Ollama基礎(chǔ)指令。

#1.啟動(dòng)ollama服務(wù)
ollama serve
#2.創(chuàng)建模型 (create)；使用 Modelfile 來(lái)創(chuàng)建一個(gè)新模型。你需要提供一個(gè)包含模型信息的 Modelfile。
ollama create /path/to/Modelfile
#3.顯示模型信息 (show)；查看特定模型的詳細(xì)信息，例如模型名稱、版本等。
ollama show model_name
#4.列出所有模型 (list)；列出本地所有可用的模型,可以在這里查找模型名稱。
ollama list
ollama ls
#5.運(yùn)行模型 (run)；運(yùn)行一個(gè)已安裝的模型，執(zhí)行某些任務(wù)。
ollama run model_name
#6.列出正在運(yùn)行的模型 (ps)；顯示當(dāng)前正在運(yùn)行的模型列表。
ollama ps
#7.刪除模型 (rm)；刪除一個(gè)已安裝的模型。
ollama rm model_name
#8.查看版本 (version)；顯示當(dāng)前 ollama 工具的版本信息。
ollama -v
ollama --version
#9.復(fù)制模型 (cp)；復(fù)制一個(gè)模型到另一個(gè)位置或給定名稱的地方。
ollama cp old_model new_model
#10.從注冊(cè)表拉取模型 (pull)；從模型注冊(cè)表中拉取一個(gè)模型，供本地使用。
ollama pull model_name
#11.推送模型到注冊(cè)表 (push)；將本地模型推送到模型注冊(cè)表中，以便他人或其他系統(tǒng)使用。
ollama push model_name

Docker是一種開(kāi)源的容器化平臺(tái)，用于將軟件及其所有依賴環(huán)境打包到鏡像文件中，以便于在任何環(huán)境下輕松運(yùn)行。此處使用docker主要用于運(yùn)行open-webui，以便于更方便的使用DeepSeek-R1。

搭建過(guò)程

上述安裝產(chǎn)品安裝成功之后，便可以開(kāi)始著手搭建DeepSeek-R1。

• 首先在ollama官網(wǎng)查詢 deepseek 或者 deepseek-r1

• 如下圖目前存在28個(gè)tag，按照我們自身電腦配置選擇對(duì)應(yīng)的版本，同時(shí)復(fù)制右側(cè)命令。

數(shù)字后面的b代表著算力參數(shù)，隨著參數(shù)增加，訓(xùn)練和 inference 的計(jì)算量也顯著增加，但也要選擇和本地硬件相匹配。

配置對(duì)照表

• MAC用戶打開(kāi)終端（Windows用戶打開(kāi)CMD）輸入上述復(fù)制命令

下載結(jié)束且成功之后（出現(xiàn)三個(gè)箭頭），則可以進(jìn)行問(wèn)答。前期下載速度還是蠻快的，后面速度會(huì)越來(lái)越慢（FQ可有效提高下載速度），可以手動(dòng) control c 結(jié)束之后重新運(yùn)行（會(huì)接著進(jìn)行下載）。

下載成功之后可以查詢到下載的模型信息

• 安裝WebUI

如上小黑框中的交互方式顯然不能滿足我們的要求，我們需要一個(gè)友好的交互頁(yè)面（如ChatGpt一樣），還可以記錄下我們對(duì)話的內(nèi)容。此時(shí)引入open web ui。

登錄docker客戶端并點(diǎn)擊terminal輸入如下命令：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

     步驟解釋：

• docker run ：使用命令啟動(dòng)一個(gè)新的Docker容器。

• -d ：表示運(yùn)行容器時(shí)在后臺(tái)，避免終端被占據(jù)。

• -p 3000:8080 ：將宿主機(jī)的端口3000映射到容器內(nèi)的端口8080。這樣，外部訪問(wèn)的請(qǐng)求會(huì)被轉(zhuǎn)發(fā)到容器內(nèi)的8080端口，以供WebUI服務(wù)提供響應(yīng)。

• --add-host=host.docker.internal:host-gateway ：為Docker容器網(wǎng)絡(luò)配置添加一個(gè)宿主名。host.docker.internal 是Docker默認(rèn)配置的一個(gè)虛擬IP地址，允許容器訪問(wèn)主機(jī)網(wǎng)絡(luò)中的其他服務(wù)，如本地服務(wù)器或數(shù)據(jù)庫(kù)等。

• --name open-webui ：指定容器的名稱為 open-webui，方便在后續(xù)操作中通過(guò)名稱管理和停止容器。

• ghcr.io/open-webui/open-webui:main ：從GitHub Container Registry（GHCR）拉取鏡像。open-webui:main 表示使用倉(cāng)庫(kù)中的 open-webui 項(xiàng)目的主分支鏡像。如果沒(méi)有權(quán)限訪問(wèn)該鏡像，Docker命令將失敗。

• --restart always ：設(shè)置容器重啟策略，當(dāng)容器退出時(shí)自動(dòng)啟動(dòng)新實(shí)例，以確保服務(wù)持續(xù)運(yùn)行，避免應(yīng)用程序故障導(dǎo)致服務(wù)中斷。

• -v open-webui:/app/backend/data ：創(chuàng)建一個(gè)匿名卷，將宿主機(jī)的文件夾 open-webui 掛載到容器內(nèi)的路徑 /app/backend/data。這允許容器在運(yùn)行期間生成或修改數(shù)據(jù)，而這些數(shù)據(jù)會(huì)被保存到宿主機(jī)的指定文件夾中，方便后續(xù)管理和持久化。

通過(guò)以上命令，您可以在本地啟動(dòng)一個(gè)WebUI服務(wù)，外部用戶可以通過(guò)宿主機(jī)的3000端口訪問(wèn)。容器將自動(dòng)重啟，以應(yīng)對(duì)崩潰或終止情況，并且數(shù)據(jù)會(huì)被持久保存以供后續(xù)使用。

訪問(wèn)

WebUI本地訪問(wèn)地址： http://localhost:3000/

 登錄成功之后可以選擇我們下載好的對(duì)應(yīng)模型進(jìn)行對(duì)話。

對(duì)話測(cè)試

綜上，我們就完成了deepseek r1 的本地搭建。于用戶角度，與ChatGpt相比，deepseek獨(dú)有的思考過(guò)程讓人眼前一亮。

總結(jié)

到此這篇關(guān)于本地搭建DeepSeek-R1、WebUI的文章就介紹到這了,更多相關(guān)本地搭建DeepSeek-R1、WebUI內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論