在本地部署大模型ollama的保姆級(jí)教程

發(fā)布時(shí)間：2026-05-25 11:55:45 作者：Alson_Code

這段文章詳細(xì)介紹了Ollama、LMStudio、TextGenerationWebUI和vLLM四種部署方式,適合不同模型的本地和企業(yè)環(huán)境部署,文章還提供了Ollama的下載指南和免費(fèi)開(kāi)源大模型的推薦版本,適合不同硬件配置的用戶,最后,介紹了SpringAI框架的項(xiàng)目集成方法,需要的朋友可以參考下

一、部署方式選擇

部署方式	上手難度	核心特點(diǎn)	適用場(chǎng)景
Ollama	?	命令極簡(jiǎn)，自動(dòng)適配環(huán)境，自帶 API 接口	新手日常本地調(diào)用、快速測(cè)試
LM Studio	?	圖形化操作，無(wú)需敲代碼，兼容 OpenAI 接口	不想使用命令行、純可視化使用
Text Generation WebUI	???	功能齊全，支持模型微調(diào)、多種量化格式	深度調(diào)試模型、個(gè)性化參數(shù)配置
vLLM	????	推理速度快，高并發(fā)性能強(qiáng)	搭建對(duì)外服務(wù)、生產(chǎn)環(huán)境部署

大家可以按需自我選擇，我的推薦是本地自己玩使用ollama，在企業(yè)使用最好用vLLM

二、ollama下載（windows電腦為例）

如果官網(wǎng)能下載就用官網(wǎng)，不能就鏡像地址，懂得都懂

官網(wǎng)地址：https://ollama.com/download
鏡像地址：https://cnb.cool/hex/ollama/-/releases/latest/download/OllamaSetup.exe

注意：后續(xù)下載模型一般都好幾個(gè)G，可以在setting中設(shè)置模型下載地址

三、免費(fèi)開(kāi)源大模型選擇

模型名稱	推薦版本	中文友好	商用權(quán)限	Ollama 下載命令	最低顯存	推薦顯存	最低內(nèi)存	推薦內(nèi)存	硬件適配選型
通義千問(wèn) Qwen	Qwen2:7b/14b	★★★★★	免費(fèi)可商用	ollama run qwen2:7b ollama run qwen2:14b	6G 10G	8-16G 16G+	16G 32G	32G 64G	16G 內(nèi)存選 7b，32G 及以上內(nèi)存選 14b
智譜 ChatGLM	chatglm3:6b	★★★★★	免費(fèi)可商用	ollama run chatglm3:6b	5G	6-8G	16G	32G	常規(guī)家用內(nèi)存均可流暢運(yùn)行
Llama3	llama3:8b	★★★☆☆	個(gè)人免費(fèi)商用受限	ollama run llama3:8b	6G	8-16G	16G	32G	16G 標(biāo)準(zhǔn)內(nèi)存適配日常使用
DeepSeek	deepseek:7b	★★★★☆	個(gè)人免費(fèi)商用受限	ollama run deepseek:7b	6G	8-16G	16G	32G	代碼推理場(chǎng)景，16G 內(nèi)存夠用
Mixtral	mixtral:8x7b	★★★☆☆	免費(fèi)可商用	ollama run mixtral	10G	16G+	32G	64G	大內(nèi)存機(jī)型專屬，長(zhǎng)文本處理優(yōu)選
Gemma	gemma2:9b	★★★☆☆	個(gè)人免費(fèi)商用受限	ollama run gemma2:9b	8G	12-16G	16G	32G	主流內(nèi)存配置均可穩(wěn)定運(yùn)行
Phi-3	phi3:mini	★★★☆☆	免費(fèi)可商用	ollama run phi3:mini	3G	4-6G	8G	16G	低配小內(nèi)存筆記本首選

我是16G內(nèi)存，下載的是Qwen2:7b，直接在powershell上運(yùn)行ollama run qwen2:7b

四、使用

選中模型直接對(duì)話即可，就可以使用了?。?！

地址驗(yàn)證：http://localhost:11434/

五、項(xiàng)目集成(Spring AI框架為例)

pom依賴

<dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <!-- Spring AI Ollama 依賴 -->
        <dependency>
            <groupId>org.springframework.ai</groupId>
            <artifactId>spring-ai-starter-model-ollama</artifactId>
            <version>1.0.0</version>
        </dependency>
    </dependencies>

yaml配置

spring:
  application:
    name: spring-ai-demo
  ai:
   ollama:
     base-url: http://localhost:11434
     chat:
       model: qwen2:7b

測(cè)試運(yùn)行

package com.example.springaidemo.controller;
import org.springframework.ai.chat.client.ChatClient;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;
@RestController
public class AiController {
    private final ChatClient chatClient;
    // 自動(dòng)注入 Ollama
    public AiController(ChatClient.Builder chatClientBuilder) {
        this.chatClient = chatClientBuilder.build();
    }
    // 測(cè)試接口
    @GetMapping("/ai")
    public String ask(String question) {
        return chatClient.prompt()
                .user(question)
                .call()
                .content();
    }
}