大模型应用开发 / 系统课时
接入语言模型
接入语言模型
不同厂商的模型服务接口各不相同,本课学习如何通过 LangChain 的统一接口接入不同的语言模型,并在不改动业务代码的前提下切换模型提供方。
学习目标
- 理解统一模型接口带来的解耦价值
- 掌握接入至少两种模型服务的方式
- 能够对比不同模型调用时的关键参数差异
规则与接口
LangChain 为聊天类模型统一抽象出 invoke、stream、batch 等方法,不管底层是哪家服务商,调用方式保持一致。切换模型通常只需要更换实例化的类和参数,业务入口可保持一致,但消息格式、工具能力和参数仍需逐项验收。
主示例
安装 langchain-openai 与 langchain-anthropic,设置 OPENAI_API_KEY、ANTHROPIC_API_KEY、OPENAI_MODEL 和 ANTHROPIC_MODEL。后两个值使用各自账户可调用的模型名称。以下完整脚本分别接入两种模型,真实调用会使用两家的服务额度:
import os
from langchain_openai import ChatOpenAI
from langchain_anthropic import ChatAnthropic
openai_model = ChatOpenAI(model=os.environ["OPENAI_MODEL"], timeout=30, max_retries=1)
claude_model = ChatAnthropic(model=os.environ["ANTHROPIC_MODEL"], max_tokens=256, timeout=30, max_retries=1)
for m in (openai_model, claude_model):
result = m.invoke("用一句话解释向量数据库")
print(result.text)输出验证
预期输出为两段内容相近但措辞不同的中文说明:
向量数据库是一种专门存储和检索高维向量数据的数据库...
向量数据库通过将文本转换为向量并计算相似度来实现语义检索...只要两段输出都围绕"向量数据库"给出合理解释,即说明两个模型都已成功接入。
关键边界
不同厂商支持的参数集合并不完全一致,例如部分参数只在特定模型上生效;调用不存在的模型名称会直接抛出错误。生产环境中建议将模型名称和密钥都放入配置文件或环境变量,便于统一管理和切换。
用同一契约验收不同提供方
统一接口减少了调用形式差异,不抹平能力差异。接入前列出业务实际需要的文本输入、流式文本、工具调用、结构化输出和最大响应长度,分别测试;不能因为两家 invoke 都能回答,就认定工具参数或图像输入也能无缝迁移。
本例保留同步单次请求,输出只要求是非空且相关的解释。stream 返回增量消息块,batch 面向一批输入,可能并发发出多个请求;它们不是供应商一定支持的单次批量接口。并发上限应结合服务限流与应用预算设置。
模型名称、超时、输出上限和重试次数应作为可审计配置。temperature、推理强度等参数按模型能力选择,不能把某一家支持的参数原样复制给另一家。具体调用入口参见 LangChain 模型文档。
发生鉴权错误时检查对应提供方的密钥,模型不存在时检查模型名与授权,超时则检查网络和服务时延。自动降级到另一家之前,还要确认数据允许发送至该服务,并验证降级模型满足同样的输出契约。