# 一鍵安裝
curl -fsSL https://ollama.com/install.sh | sh
# Windows 直接下載安裝包：https://ollama.com/download

# 通義千問 7B（推薦入門，int4 量化約 4GB 顯存）
ollama pull qwen2.5:7b
# Llama 3.1 8B（通用能力強(qiáng)）
ollama pull llama3.1:8b
# Mistral 7B（指令遵循優(yōu)秀）
ollama pull mistral
# Phi-3.5（微軟小模型，CPU 可跑）
ollama pull phi3.5:latest
# bge-m3 嵌入模型（知識(shí)庫必備）
ollama pull nomic-embed-text

ollama list
# NAME              ID           SIZE      MODIFIED
# qwen2.5:7b        a3........   4.7GB     5 minutes ago
# nomic-embed-text  0a........   274MB     2 hours ago
ollama run qwen2.5:7b "用一句話解釋什么是 RAG"
# RAG（檢索增強(qiáng)生成）是通過檢索外部知識(shí)庫來增強(qiáng)大語言模型生成能力的技術(shù)

# 創(chuàng)建文件：./modelfiles/rag-assistant
FROM qwen2.5:7b
PARAMETER temperature 0.3
PARAMETER top_p 0.85
PARAMETER num_ctx 8192
TEMPLATE """
{% for message in messages %}
{{ '[BOT]' if message['role'] == 'assistant' else '[USER]' }}
{{ message['content'] }}
{% endfor %}
[BOT]
"""
SYSTEM """
你是一個(gè)專業(yè)的企業(yè)知識(shí)庫助手?；卮鸨仨殻?
1. 基于提供的上下文信息回答，不要編造
2. 如果上下文沒有相關(guān)信息，誠實(shí)告知用戶
3. 回答簡(jiǎn)潔有條理，優(yōu)先使用列表格式
"""

# ./modelfiles/fast-response
FROM qwen2.5:7b
PARAMETER temperature 0.7
PARAMETER num_predict 512        # 最大生成長度
PARAMETER stop "[DONE]"          # 停止詞
PARAMETER num_ctx 4096           # 上下文窗口

ollama create rag-assistant -f ./modelfiles/rag-assistant
ollama run rag-assistant "Spring Boot 如何集成 Redis？"

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-ollama-spring-boot-starter</artifactId>
</dependency>

spring:
  application:
    name: spring-ai-ollama-demo
  ai:
    ollama:
      base-url: http://localhost:11434
      chat:
        options:
          model: qwen2.5:7b
          temperature: 0.7
          numCtx: 8192
          keepAlive: 5m
# 嵌入模型單獨(dú)配置（知識(shí)庫用）
  rag:
    embedding:
      model: nomic-embed-text

@RestController
@RequestMapping("/ai")
@RequiredArgsConstructor
public class OllamaChatController {
    private final ChatClient chatClient;
    @GetMapping("/chat")
    public String chat(@RequestParam(defaultValue = "你好，介紹一下你自己") String question) {
        return chatClient.prompt()
                .user(question)
                .call()
                .content();
    }
    // 流式響應(yīng)：適合前端 SSE 推送
    @GetMapping(value = "/chat/stream", produces = MediaType.TEXT_EVENT_STREAM_VALUE)
    public Flux<String> chatStream(@RequestParam String question) {
        return chatClient.prompt()
                .user(question)
                .stream()
                .content();
    }
}

@Configuration
public class OllamaEmbeddingConfig {

    @Bean
    public OllamaEmbeddingModel embeddingModel(OllamaApi api) {
        return new OllamaEmbeddingModel(api);
    }

    @Bean
    public VectorStore vectorStore(OllamaEmbeddingModel embeddingModel) {
        // 使用 SimpleVectorStore（輕量級(jí)，生產(chǎn)推薦 PGVector/Chroma）
        return new SimpleVectorStore(embeddingModel);
    }
}

@Service
@RequiredArgsConstructor
public class DocumentIngestionService {

    private final OllamaEmbeddingModel embeddingModel;
    private final VectorStore vectorStore;

    public void ingestDocument(Path pdfPath) throws Exception {
        // PDF 解析
        PdfDocumentReader pdfReader = new PdfDocumentReader(pdfPath.toUri().toString());
        var document = pdfReader.get();

        // 文本分割（控制每段 token 數(shù)量）
        var splitter = new TokenTextSplitter(800, 200, 10, 5000, true);
        var chunks = splitter.apply(List.of(document));

        // 寫入向量庫
        vectorStore.add(chunks);

        System.out.println("? 已導(dǎo)入 " + chunks.size() + " 個(gè)文本塊到向量庫");
    }

    public List<Document> search(String query, int topK) {
        return vectorStore.similaritySearch(
            SearchRequest.query(query).withTopK(topK)
        );
    }
}

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-alibaba-spring-boot-starter</artifactId>
</dependency>

spring:
  ai:
    dashscope:
      api-key: ${DASHSCOPE_API_KEY}    # 推薦從環(huán)境變量讀取
      base-url: https://dashscope.aliyuncs.com
      chat:
        options:
          model: qwen-turbo
          # qwen-plus / qwen-max 也可選
          temperature: 0.8
          max-tokens: 2000

@RestController
@RequestMapping("/ai")
public class DashScopeController {

    private final ChatClient chatClient;

    public DashScopeController(ChatClient.Builder builder) {
        this.chatClient = builder
            .defaultSystem("你是一個(gè) Java 技術(shù)專家，用簡(jiǎn)潔專業(yè)的語言回答問題")
            .build();
    }

    @PostMapping("/ask")
    public Map<String, Object> ask(@RequestBody Map<String, String> request) {
        String question = request.get("question");
        String answer = chatClient.prompt()
            .user(question)
            .call()
            .content();

        return Map.of("question", question, "answer", answer);
    }
}

spring:
  ai:
    dashscope:
      embedding:
        options:
          model: text-embedding-v3   # 阿里自研嵌入模型，1536 維

// 配合 RAG 使用
@Service
public class RAGService {

    private final VectorStore vectorStore;
    private final ChatClient chatClient;

    public String ragQuery(String question) {
        // Step 1: 檢索相關(guān)上下文
        List<Document> contextDocs = vectorStore.similaritySearch(
            SearchRequest.query(question).withTopK(5)
        );

        String context = contextDocs.stream()
            .map(Document::getText)
            .collect(Collectors.joining("\n\n"));

        // Step 2: 構(gòu)造有上下文的 Prompt
        String prompt = String.format("""
            基于以下參考資料回答用戶問題。如果資料中沒有相關(guān)信息，請(qǐng)如實(shí)說明。

            參考資料：
            %s

            用戶問題：%s
            """, context, question);

        // Step 3: 調(diào)用通義千問
        return chatClient.prompt()
            .user(prompt)
            .call()
            .content();
    }
}

業(yè)務(wù)代碼
    ↓ 統(tǒng)一調(diào)用
OneAPI（本地代理）
    ├── OpenAI（主力）
    ├── Claude（備選）
    ├── DashScope（國內(nèi)備選）
    └── Ollama（內(nèi)網(wǎng)補(bǔ)充）

# Docker 一鍵部署
docker run -d \
  --name oneapi \
  -p 3000:3000 \
  -v ~/oneapi/data:/data \
  --restart always \
  ghcr.io/songquanpeng/one-api:latest
# 訪問 http://localhost:3000
# 默認(rèn)賬號(hào)：root   默認(rèn)密碼：123456

spring:
  ai:
    openai:
      base-url: http://localhost:3000/v1   # OneAPI 代理地址
      api-key: ${ONEAPI_API_KEY}           # OneAPI 的 API Key（管理后臺(tái)→個(gè)人API密鑰）
      chat:
        options:
          model: gpt-4o                    # 可動(dòng)態(tài)切換：gpt-4o / qwen-turbo / claude-3-5-sonnet

// 同一個(gè) ChatClient，換模型只需改 yml
@RestController
public class ChatController {

    private final ChatClient chatClient;

    public ChatController(ChatClient.Builder builder) {
        // 配置統(tǒng)一從 yml 讀取，這里零改動(dòng)
        this.chatClient = builder.build();
    }
}

@Service
public class SmartChatService {
    private final OpenAiApi openAiApi;
    // 簡(jiǎn)單路由：根據(jù)輸入長度選擇模型
    public String chatWithRouting(String input) {
        String model;
        if (input.length() < 200) {
            // 簡(jiǎn)單問題用小模型，省錢
            model = "gpt-4o-mini";
        } else if (input.length() < 2000) {
            // 中等復(fù)雜度用主力模型
            model = "gpt-4o";
        } else {
            // 復(fù)雜任務(wù)用最強(qiáng)模型
            model = "gpt-4-turbo";
        }
        return ChatClient.builder(new OpenAiChatModel(openAiApi, OpenAiChatOptions.builder()
                .withModel(model)
                .withTemperature(0.7)
                .build()))
            .build()
            .prompt()
            .user(input)
            .call()
            .content();
    }
    // 熔斷降級(jí)：主模型失敗自動(dòng)切換備選
    public String chatWithFallback(String input) {
        try {
            return primaryChat(input);
        } catch (Exception e) {
            System.err.println("主模型調(diào)用失敗，切換備選：" + e.getMessage());
            return fallbackChat(input);
        }
    }
    private String primaryChat(String input) {
        return ChatClient.builder(new DashScopeChatModel(DashScopeApi.builder()
                .apiKey(System.getenv("DASHSCOPE_API_KEY"))
                .build(),
                DashScopeChatOptions.builder()
                    .withModel("qwen-plus")
                    .build()))
            .build()
            .prompt()
            .user(input)
            .call()
            .content();
    }
    private String fallbackChat(String input) {
        return ChatClient.builder(new OpenAiApi("http://localhost:3000/v1",
                System.getenv("ONEAPI_API_KEY")))
            .build()
            .prompt()
            .user(input)
            .call()
            .content();
    }
}

用戶請(qǐng)求
    │
    ▼
┌─────────────────────────────┐
│  路由層（Spring AI Router）   │
└─────────────────────────────┘
    │
    ├── 簡(jiǎn)單/隱私數(shù)據(jù) ──→ Ollama 本地（零成本，極速）
    │
    ├── 復(fù)雜推理 ──→ DashScope（國內(nèi)低價(jià)，高性能）
    │
    └── 最高質(zhì)量要求 ──→ OpenAI / Claude（最強(qiáng)能力）

@Component
public class ModelRouter {

    private final OllamaChatModel localModel;
    private final DashScopeChatModel dashscopeModel;
    private final OpenAiApi openaiApi;

    /**
     * 根據(jù)請(qǐng)求特征選擇最優(yōu)模型
     * @param input 用戶輸入
     * @param mode  業(yè)務(wù)場(chǎng)景：SIMPLE / COMPLEX / PREMIUM
     */
    public String route(String input, String mode) {
        return switch (mode) {
            case "SIMPLE" -> callLocal(input);
            case "COMPLEX" -> callDashScope(input);
            case "PREMIUM" -> callOpenAI(input);
            default -> callDashScope(input); // 默認(rèn)用 DashScope
        };
    }

    private String callLocal(String input) {
        return ChatClient.builder(localModel)
            .build()
            .prompt().user(input).call().content();
    }

    private String callDashScope(String input) {
        return ChatClient.builder(dashscopeModel)
            .build()
            .prompt().user(input).call().content();
    }

    private String callOpenAI(String input) {
        return ChatClient.builder(new OpenAiChatModel(openaiApi,
                OpenAiChatOptions.builder().withModel("gpt-4o").build()))
            .build()
            .prompt().user(input).call().content();
    }
}

public String privacyAwareRoute(String input, boolean containsUserData) {
    if (containsUserData) {
        // 敏感數(shù)據(jù)強(qiáng)制走本地，避免合規(guī)風(fēng)險(xiǎn)
        return "?? 包含用戶隱私數(shù)據(jù)，已路由至本地模型處理：" + callLocal(input);
    } else {
        // 非敏感數(shù)據(jù)走云端，享受最強(qiáng)能力
        return "?? 已路由至云端高性能模型：" + callDashScope(input);
    }
}

輸入類型是什么？
│
├─ 包含敏感/隱私數(shù)據(jù)？
│   └─ ? 是 ──→ Ollama 本地（qwen2.5:7b）
│
├─ 國內(nèi)生產(chǎn)環(huán)境，低成本優(yōu)先？
│   └─ ? 是 ──→ DashScope Qwen-Turbo/Plus
│
├─ 需要最強(qiáng)推理能力（代碼/復(fù)雜分析）？
│   └─ ? 是 ──→ OpenAI GPT-4o / Claude 3.5
│
└─ 多模型混合使用？
    └─ ? 是 ──→ OneAPI + 智能路由層