前言

本文主要介紹如何在 Windows 系統(tǒng)快速部署 Ollama 開源大語言模型運行工具，并安裝 Open WebUI 結合 cpolar 內(nèi)網(wǎng)穿透軟件，實現(xiàn)在公網(wǎng)環(huán)境也能訪問你在本地內(nèi)網(wǎng)搭建的 llama2、千文 qwen 等大語言模型運行環(huán)境。

近些年來隨著 ChatGPT 的興起，大語言模型 LLM（Large Language Model）也成為了人工智能 AI 領域的熱門話題，很多大廠也都推出了自己的大語言模型，并或多或少的開源了自己的大語言模型，今天就來分享一個最近很火，且對于小白來說比較好上手本地部署的運行本地 LLM 的工具 Ollama。

在本地運行大語言模型有諸多優(yōu)點：

比如可以保護隱私、不會產(chǎn)生費用、可以無視網(wǎng)絡問題、可以嘗鮮各種開源模型等等。

Ollama 支持當前主要的開源大模型， 比如 llama2、千文 qwen、mistral 等，可以在 Windows、Linux、MacOS 系統(tǒng)上進行部署。穩(wěn)定性和便利性都非常不錯，下面就來分享一下它在 Windows 系統(tǒng)上的安裝與應用。

1. 運行 Ollama

本文安裝環(huán)境為：Windows10 專業(yè)版

下載： Ollama 下載地址：https://ollama.com/download

在下載頁面點擊 Windows，然后點擊下載按鈕。

安裝： 下載完成后，雙擊下載的安裝程序。

點擊 Install 進行安裝。

安裝完成沒有提示，我們打開一個終端，本文以 Windows PowerShell 為例，大家也可以使用其他的：

現(xiàn)在 Ollama 已經(jīng)安裝完了，我們需要在終端中輸入下方命令運行一個大語言模型進行測試，這里以對在中文方面表現(xiàn)相對好些的千問為例，大家也可以使用其他的模型。

ollama run qwen

可以看到，系統(tǒng)正在下載 qwen 的模型（并保存在 C 盤，C:\Users<username>.ollama\models 如果想更改默認路徑，可以通過設置OLLAMA_MODELS進行修改，然后重啟終端，重啟 ollama 服務。）

setx OLLAMA_MODELS "D:\ollama_model"

模型下載完成后，我們就可以在終端中輸入問題進行使用了：

至此，在 Windows 本地部署 ollama 并運行 qwen 大語言模型就已經(jīng)完成了。一鍵搞定，對新手體驗大語言模型真的非常友好。

2. 安裝 Open WebUI

不過，我們現(xiàn)在只能在終端中使用，操作界面可能不像 ChatGPT 那樣美觀，如果能使用 web 頁面進行交互，使用體驗更好，也能保留之前的聊天記錄，翻遍我們翻閱查詢。

針對這個情況，我們可以在 Windows 上部署 Open WebUI 這個項目來實現(xiàn)類似 chatgpt 一樣的交互界面。

本教程以 Open WebUI 這個項目為例，它以前的名字就叫 Formerly Ollama WebUI?？梢岳斫鉃橐婚_始就是專門適配 Ollama 的 WebUI，它的界面也對用慣了 chatgpt 的小伙伴來說更相似一些。當然，大家也可以選擇其他的 WebUI，之后有機會也可以分享給大家。

如何在 Windows 系統(tǒng)安裝 Open WebUI：

2.1 在 Windows 系統(tǒng)安裝 Docker

首先，如果大家之前未安裝過 Docker，需要執(zhí)行下面三個步驟進行安裝：

第一步：啟動 Hyper-v

打開控制面板，在程序與功能頁面選擇啟用或 Windows 功能

勾選 Hyper-V、虛擬機平臺、Linux 子系統(tǒng)并點擊確認

然后，重啟計算機。

第二步：安裝 WSL

打開 powershell，以管理員的身份啟動命令窗口，輸入

wsl --update

安裝

wsl --install

然后再次重啟電腦。

第三步：訪問 Docker 官網(wǎng)進行下載

點擊下載鏈接：https://docs.docker.com/desktop/install/windows-install/

選擇 Windows 最新版本：

下載完成后，雙擊安裝程序進行安裝，如果是第一次安裝，安裝后會提示重啟電腦，重啟后點擊桌面的 Docker Desktop 圖標：選擇先不注冊直接登錄即可。

打開 Docker Desktop 后，左下角顯示是綠色的 running 就代表我們成功了：

2.2 使用 Docker 部署 Open WebUI

在 Open WebUI 的 github 頁面 https://github.com/open-webui/open-webui 可以看到，如果你的 Ollama 和 Open WebUI 在同一臺主機，那使用下面顯示的這一行命令就可以在本地快速進行部署：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

現(xiàn)在我們打開終端，比如 powershell，然后輸入 docker，回車

可以看到這個命令成功運行，說明 docker 安裝成功。

然后將上邊在 docker 中部署 Open WebUI 的命令復制后粘貼到終端中，回車。

然后等待安裝完畢即可：如下圖所示

安裝完成后，在 Docker Desktop 中可以看到 Open WebUI 的 web 界面地址為：https://localhost:3000

點擊后，會在瀏覽器打開登錄界面：

點擊 sign up 注冊，賬號，郵箱，密碼記好，下次登錄時需要用到郵箱和密碼登錄：

然后點擊 create account 創(chuàng)建賬號即可：然后就能在瀏覽器中使用類似 chatgpt 界面的 Open WebUI 了！

點擊右上角的設置，可以修改當前界面的語言為簡體中文：然后點擊保存即可。

點擊上方選擇一個模型旁邊的加號+可以增加大模型，點擊下拉按鈕可以選擇當前使用哪一個已安裝的模型，接下來就可以愉快的跟 ai 聊天了！

3. 安裝內(nèi)網(wǎng)穿透工具

至此，我們已經(jīng)成功完成在本地 Windows 系統(tǒng)使用 Docker 部署 Open WebUI 與 Ollama 大模型工具進行交互了！但如果想實現(xiàn)出門在外，也能隨時隨地使用 Ollama Open WebUI，那就需要借助 cpolar 內(nèi)網(wǎng)穿透工具來實現(xiàn)公網(wǎng)訪問了！接下來介紹一下如何安裝 cpolar 內(nèi)網(wǎng)穿透并實現(xiàn)公網(wǎng)訪問！

下面是安裝 cpolar 步驟：

cpolar 官網(wǎng)地址: https://www.cpolar.com

點擊進入 cpolar 官網(wǎng)，點擊免費使用注冊一個賬號，并下載最新版本的 cpolar

登錄成功后，點擊下載 cpolar 到本地并安裝（一路默認安裝即可）本教程選擇下載 Windows 版本。

cpolar 安裝成功后，在瀏覽器上訪問 http://localhost:9200，使用 cpolar 賬號登錄,登錄后即可看到 cpolar web 配置界面,結下來在 web 管理界面配置即可。

接下來配置一下 Open WebUI 的公網(wǎng)地址，

登錄后，點擊左側儀表盤的隧道管理——創(chuàng)建隧道，

創(chuàng)建一個 ollama1 的公網(wǎng) http 地址隧道：

• 隧道名稱：ollama1（可自定義命名，注意不要與已有的隧道名稱重復）
• 協(xié)議：選擇 http
• 本地地址：3000 (本地訪問的地址)
• 域名類型：免費選擇隨機域名
• 地區(qū)：選擇 China Top

隧道創(chuàng)建成功后，點擊左側的狀態(tài)——在線隧道列表,查看所生成的公網(wǎng)訪問地址，有兩種訪問方式,一種是 http 和 https：

使用上面的任意一個公網(wǎng)地址,在手機或任意設備的瀏覽器進行登錄訪問,即可成功看到 Open WebUI 界面,這樣一個公網(wǎng)地址且可以遠程訪問就創(chuàng)建好了,使用了 cpolar 的公網(wǎng)域名,無需自己購買云服務器,即可到公網(wǎng)訪問 Open WebUI 了！

小結

如果我們需要長期異地遠程訪問 Open WebUI，由于剛才創(chuàng)建的是隨機的地址，24 小時會發(fā)生變化。另外它的網(wǎng)址是由隨機字符生成，不容易記憶。如果想把域名變成固定的二級子域名，并且不想每次都重新創(chuàng)建隧道來訪問 Open WebUI，我們可以選擇創(chuàng)建一個固定的公網(wǎng)地址來解決這個問題。

4. 創(chuàng)建固定公網(wǎng)地址

我們接下來為其配置固定的 HTTP 端口地址，該地址不會變化，方便分享給別人長期查看你部署的項目，而無需每天重復修改服務器地址。

配置固定 http 端口地址需要將 cpolar 升級到專業(yè)版套餐或以上。

登錄 cpolar 官網(wǎng)，點擊左側的預留，選擇保留二級子域名，設置一個二級子域名名稱，點擊保留,保留成功后復制保留的二級子域名名稱

保留成功后復制保留成功的二級子域名的名稱：myollama，大家也可以設置自己喜歡的名稱。

返回登錄 Cpolar web UI 管理界面，點擊左側儀表盤的隧道管理——隧道列表，找到所要配置的隧道：ollama1，點擊右側的編輯：

修改隧道信息，將保留成功的二級子域名配置到隧道中

• 域名類型：選擇二級子域名
• Sub Domain：填寫保留成功的二級子域名：myollama

點擊更新(注意,點擊一次更新即可,不需要重復提交)

更新完成后,打開在線隧道列表,此時可以看到公網(wǎng)地址已經(jīng)發(fā)生變化,地址名稱也變成了固定的二級子域名名稱的域名：

最后,我們使用固定的公網(wǎng) https 地址訪問,可以看到訪問成功,這樣一個固定且永久不變的公網(wǎng)地址就設置好了，可以隨時隨地在公網(wǎng)環(huán)境異地訪問本地部署的 Open WebUI 了！

以上就是如何在 Windows 系統(tǒng)本地安裝 Ollama 大模型工具并使用 docker 部署 Open WebUI，結合 cpolar 內(nèi)網(wǎng)穿透工具實現(xiàn)公網(wǎng)訪問本地 LLM，并配置固定不變的二級子域名公網(wǎng)地址實現(xiàn)遠程訪問的全部流程，感謝您的觀看，有任何問題歡迎留言交流。

到此這篇關于本地快速部署Ollama運行大語言模型詳細流程(最新推薦)的文章就介紹到這了,更多相關Ollama運行大語言模型內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持腳本之家！

最新評論