在 AI 浪潮席卷各行各業(yè)的 2026 年，大語言模型早已不是云端巨頭的專屬玩具。從個(gè)人開發(fā)者到中小企業(yè)，越來越多的人希望在本地運(yùn)行、微調(diào)或集成大模型——既要數(shù)據(jù)隱私，又要低延遲，還要擺脫高昂的 API 費(fèi)用。這時(shí)，Ollama 幾乎成了本地模型部署的標(biāo)配答案。

一、認(rèn)識 Ollama：把大模型裝進(jìn)口袋

Ollama 是一個(gè)輕量級、跨平臺的本地大模型運(yùn)行框架，它的核心設(shè)計(jì)哲學(xué)就兩個(gè)字：簡單。你不需要手動安裝 CUDA、PyTorch 或任何 Python 依賴，只需一條命令就能把 Llama、Mistral、Gemma、Qwen（通義千問）等上百種開源模型拉取到本地，并立刻開始對話。

它的主要亮點(diǎn)包括：

• 一鍵安裝，零配置：macOS、Linux、Windows 全平臺支持，自動檢測 GPU 加速。
• 模型市場豐富：內(nèi)置官方與社區(qū)模型庫，從 1B 到 405B 參數(shù)都有覆蓋，支持多種量化等級。
• 標(biāo)準(zhǔn) API 接口：提供原生 REST API，且完全兼容 OpenAI 的 /v1/chat/completions 格式，意味著你可以直接替換任何兼容 OpenAI 的應(yīng)用。
• 自定義靈活：通過簡單的 Modelfile 就能調(diào)整系統(tǒng)提示詞、溫度、上下文長度，甚至導(dǎo)入微調(diào)后的模型。
• 生態(tài)友好：與 LangChain、LlamaIndex、LiteLLM 等框架無縫集成，也有 Open WebUI 這樣的漂亮前端。

二、快速部署：三條命令搞定

無論你用的是哪種操作系統(tǒng)，Ollama 的安裝都稱得上“傻瓜式”。

macOS

直接使用 Homebrew 安裝，或者從 ollama.com 下載 .dmg 包。

brew install ollama

Linux

一行腳本自動完成安裝和系統(tǒng)服務(wù)注冊。

curl -fsSL https://ollama.com/install.sh | sh

安裝完成后，Ollama 會作為后臺服務(wù)自動啟動，你隨時(shí)可以用 ollama list 檢查狀態(tài)。

Windows

在 ollama.com 下載 .exe 安裝包，雙擊運(yùn)行即可。安裝后它會在系統(tǒng)托盤中運(yùn)行，并自動配置好環(huán)境變量。如果你更習(xí)慣 WSL，也可以在 Ubuntu 子系統(tǒng)中直接使用 Linux 安裝方式。

驗(yàn)證安裝：

ollama --version

如果顯示出類似 ollama version 0.5.1 的信息，恭喜你，部署已經(jīng)完成了。

三、運(yùn)行第一個(gè)模型：像是和終端聊天

Ollama 的模型庫中有大量即開即用的模型。以阿里通義千問系列的中文優(yōu)化模型 qwen2.5:7b 為例（2026 年可能已有更新的 qwen3，你可以按需選擇）：

ollama pull gemma3:4b

pull 命令會自動下載模型文件（3.3GB），并緩存到本地。下載完成后，直接運(yùn)行：

ollama run gemma3:4b

此時(shí)你的終端就變成了一個(gè)對話界面：

常用管理命令：

• 查看已下載的模型：ollama list
• 查看模型詳細(xì)信息：ollama show gemma3:4b
• 刪除不需要的模型：ollama rm gemma3:4b
• 復(fù)制模型（創(chuàng)建別名）：ollama cp gemma3:4b my-gemma3

想要更換模型？一個(gè) ollama pull llama3.2 再 ollama run llama3.2 就能立刻切換到 Meta 的模型。多模型共存，互不干擾。

四、用 API 連接世界：從 curl 到 OpenAI SDK

僅在終端里聊天還不夠，真正讓 Ollama 發(fā)光的是它的 REST API。Ollama 默認(rèn)在 localhost:11434 提供 HTTP 服務(wù)，無需額外配置（首次運(yùn)行模型或執(zhí)行 ollama serve 時(shí)會自動啟動）。

原生聊天接口

用 curl 發(fā)送一次對話請求：

curl http://localhost:11434/api/chat -d '{
  "model": "gemma3:4b",
  "messages": [
    {"role": "user", "content": "推薦三個(gè)適合初學(xué)者的機(jī)器學(xué)習(xí)項(xiàng)目"}
  ],
  "stream": false
}'

返回的 JSON 中直接包含 message.content 字段。如果需要流式輸出，把 stream 設(shè)為 true 即可。

完全兼容 OpenAI API

這是 Ollama 最具殺傷力的特性：它提供了一個(gè) OpenAI 兼容端點(diǎn)，任何使用 OpenAI Python 庫、LangChain 或第三方客戶端的代碼，只需改一行 base_url 就能切到本地模型。

from openai import OpenAI
client = OpenAI(
    base_url="http://localhost:11434/v1",  # 注意這里是 /v1
    api_key="ollama"                       # 隨便填，但必填
)
response = client.chat.completions.create(
    model="qwen2.5:7b",
    messages=[{"role": "user", "content": "寫一首關(guān)于秋天的五言絕句"}]
)
print(response.choices[0].message.content)

對，你沒看錯(cuò)，api_key 可以寫任何字符串。這種兼容性意味著你可以把 Ollama 直接接入到 Chatbox、Open WebUI、LangChain、AutoGPT 等海量現(xiàn)成應(yīng)用中，本地模型瞬間擁有了 ChatGPT 同等“待遇”。

五、定制你的專屬模型：Modelfile

每個(gè)人的需求不同，有時(shí)你需要一個(gè)帶有特定人設(shè)的模型，或者調(diào)整輸出溫度、上下文長度。Ollama 的 Modelfile 讓你能像寫 Dockerfile 一樣定義模型行為。

創(chuàng)建一個(gè)名為 Modelfile 的文件：

FROM qwen2.5:7b

# 設(shè)置系統(tǒng)提示詞（角色設(shè)定）
SYSTEM "你是一位精通 Python 和 Go 語言的高級后端工程師，回答問題時(shí)給出簡潔、可運(yùn)行的代碼示例，并解釋關(guān)鍵步驟。請用中文回答。"

# 調(diào)高溫度讓回答更有創(chuàng)造性（默認(rèn) 0.7）
PARAMETER temperature 0.9

# 增大上下文窗口（默認(rèn) 2048）
PARAMETER num_ctx 4096

然后根據(jù)這個(gè)文件創(chuàng)建一個(gè)新模型：

ollama create my-code-master -f Modelfile

運(yùn)行它：

ollama run my-code-master

現(xiàn)在這個(gè)模型已經(jīng)內(nèi)化了“高級工程師”的角色，你問它“如何用 Go 寫一個(gè)并發(fā)安全的計(jì)數(shù)器？”，它會給出比通用模型更切中要點(diǎn)的答復(fù)。

你也可以將任何 GGUF 格式的微調(diào)模型通過 Modelfile 導(dǎo)入 Ollama，只需將 FROM 指向本地文件路徑即可。

六、集成到你的技術(shù)棧：LangChain、LlamaIndex 示例

當(dāng)你想用本地模型構(gòu)建 RAG 知識庫、智能代理或文檔問答系統(tǒng)時(shí)，Ollama 同樣是最佳拍檔。

LangChain

from langchain_community.chat_models import ChatOllama
from langchain_core.messages import HumanMessage
llm = ChatOllama(model="qwen2.5:7b", temperature=0)
response = llm.invoke([HumanMessage(content="用 Python 寫一個(gè)冒泡排序")])
print(response.content)

LlamaIndex

from llama_index.llms.ollama import Ollama
llm = Ollama(model="qwen2.5:7b", request_timeout=120)
resp = llm.complete("什么是機(jī)器學(xué)習(xí)的過擬合？")
print(resp)

這些框架會將請求自動轉(zhuǎn)發(fā)到 localhost:11434，你只需保證 Ollama 在后臺運(yùn)行即可。對于更復(fù)雜的生產(chǎn)環(huán)境，你還可以通過環(huán)境變量 OLLAMA_HOST=0.0.0.0:11434 將服務(wù)暴露給內(nèi)網(wǎng)其他機(jī)器，甚至搭配 Nginx 做負(fù)載均衡。

七、性能調(diào)優(yōu)與常見問題

1. GPU 加速

Ollama 在安裝時(shí)會自動檢測 NVIDIA/AMD 顯卡并啟用 GPU 推理，無需手動配置。你可以用 ollama ps 查看當(dāng)前模型占用的 GPU 內(nèi)存。如果你有多個(gè) GPU，可以通過環(huán)境變量 CUDA_VISIBLE_DEVICES 指定使用哪塊卡。

2. 模型量化

模型默認(rèn)使用 Q4_K_M 量化，能在速度和精度間取得較好平衡。如果你想節(jié)省內(nèi)存（比如在 8GB 顯卡上跑 13B 模型），可以嘗試帶有 q2_K 或 q3 標(biāo)簽的版本：

ollama pull qwen2.5:7b-q2_K

3. 并發(fā)與上下文

默認(rèn) Ollama 會并行處理多個(gè)請求，但受限于顯存。你可以通過 OLLAMA_NUM_PARALLEL 環(huán)境變量調(diào)整最大并發(fā)數(shù)。另外，長上下文會消耗大量顯存，可按需在 Modelfile 中設(shè)置 num_ctx。

4. 內(nèi)存不足怎么辦？

如果模型太大導(dǎo)致 OOM（內(nèi)存溢出），可以考慮：

• 換用更小或更低量化的版本
• 使用 CPU 推理（設(shè)置 OLLAMA_NUM_THREADS 限制線程數(shù)，但速度較慢）
• 升級硬件（笑）

八、結(jié)語：本地大模型本該如此簡單

Ollama 的出現(xiàn)，真正把大模型從“只有深度學(xué)習(xí)工程師才能擺弄”的高閣拉回到了每一個(gè)開發(fā)者的終端里。它屏蔽了底層復(fù)雜的依賴和優(yōu)化細(xì)節(jié)，卻保留了足夠的靈活性和可擴(kuò)展性。無論你是想在個(gè)人項(xiàng)目中嵌入 AI 能力，還是在公司內(nèi)部搭建隱私安全的 LLM 服務(wù)，Ollama 都是那個(gè)值得首選的“快速部署與使用”方案。

到此這篇關(guān)于Ollama模型快速部署與使用的保姆級教程的文章就介紹到這了,更多相關(guān)Ollama模型部署與使用內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持腳本之家！

最新評論