docker安裝并使用 ollama的步驟
啟動(dòng) ollama
1. CPU 方式啟動(dòng)
docker run -itd --name ollama -v ~/.ollama:/root/.ollama -p 11434:11434 ollama/ollama
2. GPU 方式啟動(dòng)
docker run -itd --name ollama --gpus=all -v ~/.ollama:/root/.ollama -p 11434:11434 ollama/ollama
啟動(dòng)模型
進(jìn)入 ollama 容器
docker exec -it ollama /bin/bash
拉取 qwen2.5 大模型
ollama pull qwen2.5:0.5b
查看大模型列表
ollama list
對(duì)話
1. 進(jìn)入容器,直接啟動(dòng) qwen2.5 大模型,進(jìn)行對(duì)話
docker exec -it ollama /bin/bash ollama run qwen2.5:0.5b
2. 在宿主機(jī)通過 curl 和 ollama api 交互,進(jìn)行單輪對(duì)話
curl http://localhost:11434/api/generate \
-H "Content-Type: application/json" \
-d '{
"model": "qwen2.5:0.5b",
"prompt": "用 Go 寫一個(gè) Gin 示例",
"stream": false
}'3. 在宿主機(jī)通過 curl 和 ollama api 交互,進(jìn)行多輪對(duì)話
curl http://localhost:11434/api/chat \
-H "Content-Type: application/json" \
-d '{
"model": "qwen2.5:0.5b",
"messages": [
{"role": "user", "content": "你是誰?"},
{"role": "assistant", "content": "我是 Qwen 模型"},
{"role": "user", "content": "給我一個(gè) Go Web 示例"}
],
"stream": false
}'到此這篇關(guān)于docker 安裝并使用 ollama的文章就介紹到這了,更多相關(guān)docker 安裝使用 ollama內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
centos docker容器化部署nginx php項(xiàng)目實(shí)踐
這篇文章主要介紹了centos docker容器化部署nginx php項(xiàng)目實(shí)踐,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2025-06-06
遠(yuǎn)程連接Docker上的Mysql失敗的分析與解決方案
這篇文章主要介紹了遠(yuǎn)程連接Docker上的Mysql失敗的分析與解決方案的相關(guān)資料,需要的朋友可以參考下2023-01-01
部署k8s和docker、jenkins的區(qū)別和聯(lián)系詳析
Jenkins、Docker與Kubernetes是現(xiàn)代軟件開發(fā)和運(yùn)維中不可或缺的核心工具,它們分別承擔(dān)不同層次的關(guān)鍵角色,這篇文章主要介紹了部署k8s和docker、jenkins的區(qū)別和聯(lián)系的相關(guān)資料,需要的朋友可以參考下2025-11-11
如何解決對(duì)Docker容器內(nèi)存限制警告或未實(shí)際限制的問題
這篇文章主要介紹了如何解決對(duì)Docker容器內(nèi)存限制警告或未實(shí)際限制的問題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2025-04-04
Docker使用Dockerfile創(chuàng)建支持ssh服務(wù)自啟動(dòng)的容器鏡像
這篇文章主要介紹了Docker使用Dockerfile創(chuàng)建支持ssh服務(wù)自啟動(dòng)的容器鏡像,需要的朋友可以參考下2016-10-10
Docker部署Tomcat及Web應(yīng)用的實(shí)現(xiàn)
這篇文章主要介紹了Docker部署Tomcat及Web應(yīng)用的實(shí)現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-09-09
使用Docker時(shí)內(nèi)存占用過高的解決方案
在使用 Docker 進(jìn)行容器化部署時(shí),內(nèi)存占用過高是一個(gè)常見問題,當(dāng)服務(wù)器內(nèi)存被耗盡時(shí),會(huì)導(dǎo)致系統(tǒng)性能下降,甚至可能導(dǎo)致服務(wù)宕機(jī),本文將介紹如何排查和解決 Docker 環(huán)境下的內(nèi)存占用問題,需要的朋友可以參考下2024-12-12
Docker 動(dòng)態(tài)修改容器端口映射的方法
這篇文章主要介紹了Docker 動(dòng)態(tài)修改容器端口映射的方法,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2021-01-01
Alpine Docker 容器中安裝包緩存與 C/C++ 運(yùn)行問題的經(jīng)驗(yàn)
本文介紹了在Docker中使用Alpine鏡像部署C/C++應(yīng)用的優(yōu)化方法,今天就來分享下我在Alpine容器中解決安裝包緩存與C/C++程序運(yùn)行問題的經(jīng)驗(yàn),感興趣的朋友一起看看吧2025-06-06

