前面我們完成了Hermes-Agent的安裝、源碼解析和自定義工具開(kāi)發(fā)，今天帶來(lái)一個(gè)超實(shí)用的實(shí)戰(zhàn)教程——對(duì)接本地Ollama大模型，實(shí)現(xiàn)完全離線運(yùn)行，無(wú)需聯(lián)網(wǎng)、無(wú)需API Key，保護(hù)隱私的同時(shí)，擺脫對(duì)云端模型的依賴(lài)！全文流程清晰、代碼可直接復(fù)制，避免離線部署時(shí)踩坑～

?? 前言：為什么要對(duì)接本地Ollama？

Hermes-Agent默認(rèn)對(duì)接OpenRouter、OpenAI等云端模型，需要API Key且聯(lián)網(wǎng)使用，存在兩個(gè)痛點(diǎn)：一是API調(diào)用需要付費(fèi)，二是敏感數(shù)據(jù)會(huì)上傳到云端，存在隱私泄露風(fēng)險(xiǎn)。

而Ollama是一款輕量級(jí)本地大模型運(yùn)行工具，支持Llama 3、Mistral、Qwen等主流模型，一鍵部署、占用資源低，對(duì)接Hermes后，就能實(shí)現(xiàn)「本地Agent+本地模型」的完全離線架構(gòu)，適合隱私敏感場(chǎng)景（如企業(yè)內(nèi)部使用、本地辦公）。

? 一、前期準(zhǔn)備（兩步到位）

Step 1：安裝Ollama（本地大模型運(yùn)行工具）

支持Linux、macOS、Windows（WSL2），安裝命令如下（直接復(fù)制執(zhí)行）：

# Linux / macOS / WSL2 通用命令
curl -fsSL https://ollama.com/install.sh | sh
# 安裝完成后，啟動(dòng)Ollama服務(wù)
ollama serve  # 后臺(tái)運(yùn)行可加 &，即 ollama serve &

驗(yàn)證安裝成功：

ollama --version  # 查看版本
ollama pull llama3:8b  # 拉取一個(gè)輕量級(jí)模型（llama3 8B，約4GB，適合本地運(yùn)行）

Step 2：確認(rèn)Hermes環(huán)境

確保Hermes-Agent已安裝，且能正常啟動(dòng)：

hermes version  # 查看版本，正常輸出即沒(méi)問(wèn)題
hermes stop     # 若已啟動(dòng)，先停止，后續(xù)配置完成后重啟

??? 二、Hermes對(duì)接Ollama詳細(xì)步驟

Step 1：安裝Ollama Python依賴(lài)

Hermes對(duì)接Ollama需要依賴(lài) ollama Python包，執(zhí)行以下命令安裝：

# 激活Hermes虛擬環(huán)境（手動(dòng)安裝用戶）
source ~/.hermes/venv/bin/activate
# 安裝ollama依賴(lài)
pip install ollama

Step 2：配置Hermes對(duì)接Ollama

有兩種配置方式，推薦「CLI快速配置」（新手友好），也可手動(dòng)修改配置文件。

方式1：CLI快速配置（推薦）

直接執(zhí)行以下命令，一步完成配置：

# 啟動(dòng)Hermes配置向?qū)Вx擇Ollama模型
hermes model
# 后續(xù)步驟（按提示操作）：
# 1. 選擇 LLM Provider → 輸入 ollama
# 2. 選擇 Model → 輸入 llama3:8b（或你已拉取的其他模型，如 mistral:7b）
# 3. 確認(rèn)配置 → 輸入 y 保存

方式2：手動(dòng)修改配置文件（進(jìn)階）

編輯Hermes配置文件 \~/\.hermes/config\.yaml，添加Ollama配置：

# 打開(kāi)配置文件
vim ~/.hermes/config.yaml
# 添加以下內(nèi)容（替換原有l(wèi)lm配置）
llm:
  provider: ollama
  model: llama3:8b  # 你已拉取的Ollama模型
  ollama:
    base_url: http://localhost:11434  # Ollama默認(rèn)端口，無(wú)需修改
    temperature: 0.7  # 模型溫度，越小越嚴(yán)謹(jǐn)
    max_tokens: 4096  # 最大生成token數(shù)

保存退出后，重啟Hermes即可生效。

Step 3：驗(yàn)證對(duì)接是否成功（關(guān)鍵步驟）

# 1. 啟動(dòng)Hermes
hermes
# 2. 在交互界面輸入測(cè)試指令
你好，我是Hermes用戶，測(cè)試本地Ollama模型對(duì)接

如果Hermes能正常返回回復(fù)，且沒(méi)有報(bào)錯(cuò)，說(shuō)明對(duì)接成功！此時(shí)查看Ollama日志，能看到模型調(diào)用記錄：

journalctl -u ollama  # Linux查看Ollama日志

?? 三、進(jìn)階優(yōu)化（提升本地運(yùn)行體驗(yàn)）

1. 更換更輕量/更強(qiáng)大的Ollama模型

如果本地配置較低（如8GB內(nèi)存），推薦使用更輕量的模型；配置較高（16GB+內(nèi)存），可使用更強(qiáng)大的模型：

# 輕量級(jí)模型（適合8GB內(nèi)存）
ollama pull llama3:8b-instruct  # 指令微調(diào)版，更適合Agent調(diào)用
ollama pull qwen:7b-chat        # 通義千問(wèn)7B，中文支持更好
# 更強(qiáng)大的模型（適合16GB+內(nèi)存）
ollama pull llama3:70b-instruct
ollama pull mixtral:8x7b

更換模型后，重新執(zhí)行 hermes model 選擇新模型即可。

2. 優(yōu)化Ollama運(yùn)行參數(shù)（減少資源占用）

如果本地內(nèi)存不足，可修改Ollama啟動(dòng)參數(shù)，限制內(nèi)存占用：

# 停止Ollama服務(wù)
pkill ollama
# 限制內(nèi)存占用（以限制使用4GB內(nèi)存為例）
OLLAMA_MAX_MEMORY=4GB ollama serve &

3. 配置模型緩存（加快調(diào)用速度）

Ollama會(huì)自動(dòng)緩存模型，第一次調(diào)用較慢，后續(xù)調(diào)用會(huì)大幅加快；若想清理緩存，執(zhí)行：

ollama prune  # 清理未使用的模型緩存

?? 四、常見(jiàn)問(wèn)題&解決方案

?? 五、總結(jié)&互動(dòng)引流

本文詳細(xì)講解了Hermes-Agent對(duì)接本地Ollama大模型的全過(guò)程，從Ollama安裝、Hermes配置到驗(yàn)證測(cè)試，一步到位，實(shí)現(xiàn)完全離線運(yùn)行，擺脫API Key和網(wǎng)絡(luò)依賴(lài)！

更多相關(guān)Hermes Agent 本地Ollama大模型內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持腳本之家！

最新評(píng)論