快捷導(dǎo)航

使用?Spring?AI?+?Ollama?構(gòu)建生成式?AI?應(yīng)用的方法

更新時(shí)間：2024年11月04日 08:56:57 作者：程序猿DD

通過集成SpringBoot和Ollama,本文詳細(xì)介紹了如何構(gòu)建生成式AI應(yīng)用,首先,介紹了AI大模型服務(wù)的兩種實(shí)現(xiàn)方式,選擇使用ollama進(jìn)行部署,隨后,通過SpringBoot+SpringAI來實(shí)現(xiàn)應(yīng)用構(gòu)建,本文為開發(fā)者提供了一個(gè)實(shí)用的指南,幫助他們快速入門生成式AI應(yīng)用的開發(fā)

AI大模型服務(wù)：有兩種方式實(shí)現(xiàn)，可以使用大廠的API，也可以自己部署，本文將采用ollama來構(gòu)建
應(yīng)用構(gòu)建：調(diào)用AI大模型的能力實(shí)現(xiàn)業(yè)務(wù)邏輯，本文將采用Spring Boot + Spring AI來實(shí)現(xiàn)Ollama安裝與使用

進(jìn)入官網(wǎng)：https://ollama.com/ ，下載、安裝、啟動(dòng) ollama

參考資料：

具體步驟可以參考這篇文章：手把手教你本地運(yùn)行Meta最新大模型：Llama3.1

構(gòu)建 Spring 應(yīng)用

通過spring initializr創(chuàng)建Spring Boot應(yīng)用

注意右側(cè)選擇Spring Web和Spring AI對(duì)Ollama的支持依賴

點(diǎn)擊“generate”按鈕獲取工程

使用IDEA或者任何你喜歡的工具打開該工程，工程結(jié)構(gòu)如下；

寫個(gè)單元測試，嘗試在Spring Boot應(yīng)用里調(diào)用本地的ollama服務(wù)

@SpringBootTest(classes = DemoApplication.class)
class DemoApplicationTests {
    @Autowired
    private OllamaChatModel chatModel;
    @Test
    void ollamaChat() {
        ChatResponse response = chatModel.call(
                new Prompt(
                        "Spring Boot適合做什么？",
                        OllamaOptions.builder()
                                .withModel(OllamaModel.LLAMA3_1)
                                .withTemperature(0.4)
                                .build()
                ));
        System.out.println(response);
    }
}

運(yùn)行得到如下輸出：

ChatResponse [metadata={ id: , usage: { promptTokens: 17, generationTokens: 275, totalTokens: 292 }, rateLimit: org.springframework.ai.chat.metadata.EmptyRateLimit@7b3feb26 }, generations=[Generation[assistantMessage=AssistantMessage [messageType=ASSISTANT, toolCalls=[], textContent=Spring Boot是一個(gè)基于Java的快速開發(fā)框架，主要用于創(chuàng)建獨(dú)立的、生產(chǎn)級(jí)別的應(yīng)用程序。它提供了一個(gè)簡化的配置過程，使得開發(fā)者能夠快速構(gòu)建和部署Web應(yīng)用程序。

Spring Boot適合做以下幾件事情：

1. **快速開發(fā)**: Spring Boot提供了一系列的自動(dòng)配置功能，可以幫助開發(fā)者快速創(chuàng)建基本的應(yīng)用程序，減少手動(dòng)編寫配置代碼的時(shí)間。
2. **獨(dú)立運(yùn)行**: Spring Boot可以作為一個(gè)獨(dú)立的應(yīng)用程序運(yùn)行，不需要額外的容器或服務(wù)器支持。
3. **生產(chǎn)級(jí)別的應(yīng)用程序**: Spring Boot提供了許多生產(chǎn)級(jí)別的特性，例如安全、監(jiān)控和部署等功能，可以幫助開發(fā)者創(chuàng)建高性能、可靠的應(yīng)用程序。
4. **Web 應(yīng)用程序**: Spring Boot可以用于創(chuàng)建Web應(yīng)用程序，包括RESTful API、WebSockets和其他類型的Web應(yīng)用程序。
5. **微服務(wù)架構(gòu)**: Spring Boot支持微服務(wù)架構(gòu)，允許開發(fā)者將一個(gè)大型應(yīng)用程序分解成多個(gè)小型服務(wù)，每個(gè)服務(wù)都可以獨(dú)立運(yùn)行和部署。

總之，Spring Boot是一個(gè)強(qiáng)大的框架，可以幫助開發(fā)者快速創(chuàng)建、測試和部署生產(chǎn)級(jí)別的應(yīng)用程序。, metadata={messageType=ASSISTANT}], chatGenerationMetadata=ChatGenerationMetadata{finishReason=stop,contentFilterMetadata=null}]]]

上述樣例工程打包放公眾號(hào)了，如果需要的話，關(guān)注"程序猿DD"，發(fā)送關(guān)鍵詞spring+ollama獲得下載鏈接。

小結(jié)

通過本文的介紹，我們就已經(jīng)完成了Spring Boot應(yīng)用與Ollama運(yùn)行的AI模型之間的對(duì)接。剩下的就是與業(yè)務(wù)邏輯的結(jié)合實(shí)現(xiàn)，這里讀者根據(jù)自己的需要去實(shí)現(xiàn)即可。

可能存在的一些疑問

如何使用其他AI模型

通過ollama的 Models 頁面，可以找到各種其他模型：

選擇你要使用的模型來啟動(dòng)即可。

如何植入現(xiàn)有應(yīng)用？

打開上面工程的pom.xml，可以看到主要就下面兩個(gè)依賴：

<dependency>
  <groupId>org.springframework.boot</groupId>
  <artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
  <groupId>org.springframework.ai</groupId>
  <artifactId>spring-ai-ollama-spring-boot-starter</artifactId>
</dependency>

所以，如果要在現(xiàn)有工程引入的話只要引入spring-ai-ollama-spring-boot-starter依賴就可以了。

好了，今天的分享就到這里。最近較忙，分享較少，感謝持續(xù)的關(guān)注與支持 _

到此這篇關(guān)于如何用 Spring AI + Ollama 構(gòu)建生成式 AI 應(yīng)用的文章就介紹到這了,更多相關(guān)Spring AI Ollama 構(gòu)建生成式 AI 應(yīng)用內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: