作為AI工程框架，LangChain實際是對LLM能力的擴(kuò)展和補(bǔ)充。

如果把LLM比作人的大腦，LangChain則是人的軀干和四肢，協(xié)助LLM完成“思考”之外的“臟活累活”。

一、安裝環(huán)境

1、創(chuàng)建并激活虛擬環(huán)境

創(chuàng)建名為 myLC 的虛擬環(huán)境

python -m venv myLC

激活虛擬環(huán)境

cd C:\Users\amdin
myLC\Scripts\activate

也可采用conda做虛擬環(huán)境管理

2、安裝核心庫

• langchain (核心)
• langchain-openai (與OpenAI模型交互)
• langchain-core: 包含所有核心抽象和運(yùn)行時邏輯（如 LLM, Chain, Runnable 等）
• langchain-community (社區(qū)維護(hù)的集成)

pip install langchain langchain-openai langchain-core langchain-community -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple

3、安裝常用依賴

• tiktoken: OpenAI 用于計算文本 token 數(shù)量的工具。
• chromadb: 一個開源的向量數(shù)據(jù)庫，用于存儲文檔嵌入向量。
• faiss-cpu: Facebook AI 開發(fā)的高效向量相似度搜索庫。
• python-dotenv: 用于從 .env 文件中加載環(huán)境變量 (如 API 密鑰)。

pip install tiktoken chromadb faiss-cpu python-dotenv -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple

4、驗證開發(fā)環(huán)境

編寫并執(zhí)行test.py文件

import sys
import langchain
import openai

# 打印已安裝庫的版本
print(f"LangChain version: {langchain.__version__}")
print(f"OpenAI version: {openai.__version__}")

# 打印 Python 解釋器版本
print(f"Python version: {sys.version}")

二、如何在 LangChain 中使用本地模型？

ChatOpenAI 這個類是專門為 OpenAI 官方 API 設(shè)計的集成。

它的工作原理是：

封裝 API 請求：當(dāng)你調(diào)用 chat_model.invoke(…) 時，ChatOpenAI 類會將你的輸入（如問題、消息列表）格式化成符合 OpenAI API 規(guī)范的 JSON 數(shù)據(jù)。

發(fā)送網(wǎng)絡(luò)請求：它通過網(wǎng)絡(luò)將這個 JSON 數(shù)據(jù)發(fā)送到 OpenAI 的服務(wù)器。

接收并解析響應(yīng)：OpenAI 的服務(wù)器在其強(qiáng)大的 GPU 集群上運(yùn)行模型，生成回答后，將結(jié)果以 JSON 格式返回。ChatOpenAI 類接收這個響應(yīng)，并將其解析成 LangChain 內(nèi)部的數(shù)據(jù)結(jié)構(gòu)（如 AIMessage）。

關(guān)鍵點在于：ChatOpenAI 是一個 “客戶端” 或 “API 封裝器”，它本身不包含任何模型的計算邏輯，所有的計算都發(fā)生在 OpenAI 的遠(yuǎn)程服務(wù)器上。 因此，它無法加載和執(zhí)行你本地的模型文件。

那么如何在 LangChain 中使用本地模型？

要在 LangChain 中使用本地模型，你需要使用 LangChain 為本地模型推理框架提供的集成。

這些框架負(fù)責(zé)在你的本地機(jī)器（CPU 或 GPU）上加載和運(yùn)行模型，而 LangChain 則提供一個統(tǒng)一的接口來調(diào)用它們。

1、使用vllm部署本地模型

#使用本機(jī)的18000端口，–model執(zhí)行本地模型路徑，–served-model-name為模型別名，方便后續(xù)langchain指定

python -m vllm.entrypoints.openai.api_server --model modelpath --host 0.0.0.0 --port 18000 --served-model-name deepseek-r1-local

注：也可以使用ollma或者其它方式部署本地模型。

2、使用langchain進(jìn)行推理

編寫測試文件test_langchain.py

from langchain_openai import ChatOpenAI
# --- core cfg ---
# User ChatOpenAI Class obj，and configure it to point to DeepSeek's API
# 1. model_name:  DeepSeek model name，
# 2. openai_api_base: DeepSeek API point，default is https://api.deepseek.com
# 3. openai_api_key: local mode need to set it to "none"
# 4. max_tokens: max token num
llm = ChatOpenAI(    
model_name="deepseek-r1-localg",      
openai_api_base="http://127.0.0.1:18000/v1/",    
openai_api_key="none",      
max_tokens=1024,    
temperature=0.7
)
try:    
print("Calling local DeepSeek-R1 model...")    
response = llm.invoke("who are you ? and explain how you differ from OpenAI's GPT model?")        
print("\n--- Local DeepSeek-R1 answer ---")    
print(response.content)    
print("------------------------")
except Exception as e:    
print(f"Error: {e}")

執(zhí)行test_langchain.py，即可看到終端打印的輸出內(nèi)容，至此langchain調(diào)用本地模型的開發(fā)環(huán)境準(zhǔn)備完畢。

總結(jié)

以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。

最新評論