大模型应用开发 / 系统课时

接入语言模型

接入语言模型

不同厂商的模型服务接口各不相同,本课学习如何通过 LangChain 的统一接口接入不同的语言模型,并在不改动业务代码的前提下切换模型提供方。

学习目标

  • 理解统一模型接口带来的解耦价值
  • 掌握接入至少两种模型服务的方式
  • 能够对比不同模型调用时的关键参数差异

规则与接口

LangChain 为聊天类模型统一抽象出 invoke、stream、batch 等方法,不管底层是哪家服务商,调用方式保持一致。切换模型通常只需要更换实例化的类和参数,业务入口可保持一致,但消息格式、工具能力和参数仍需逐项验收。

主示例

安装 langchain-openai 与 langchain-anthropic,设置 OPENAI_API_KEY、ANTHROPIC_API_KEY、OPENAI_MODEL 和 ANTHROPIC_MODEL。后两个值使用各自账户可调用的模型名称。以下完整脚本分别接入两种模型,真实调用会使用两家的服务额度:

python
import os
from langchain_openai import ChatOpenAI
from langchain_anthropic import ChatAnthropic

openai_model = ChatOpenAI(model=os.environ["OPENAI_MODEL"], timeout=30, max_retries=1)
claude_model = ChatAnthropic(model=os.environ["ANTHROPIC_MODEL"], max_tokens=256, timeout=30, max_retries=1)

for m in (openai_model, claude_model):
    result = m.invoke("用一句话解释向量数据库")
    print(result.text)

输出验证

预期输出为两段内容相近但措辞不同的中文说明:

text
向量数据库是一种专门存储和检索高维向量数据的数据库...
向量数据库通过将文本转换为向量并计算相似度来实现语义检索...

只要两段输出都围绕"向量数据库"给出合理解释,即说明两个模型都已成功接入。

关键边界

不同厂商支持的参数集合并不完全一致,例如部分参数只在特定模型上生效;调用不存在的模型名称会直接抛出错误。生产环境中建议将模型名称和密钥都放入配置文件或环境变量,便于统一管理和切换。

用同一契约验收不同提供方

统一接口减少了调用形式差异,不抹平能力差异。接入前列出业务实际需要的文本输入、流式文本、工具调用、结构化输出和最大响应长度,分别测试;不能因为两家 invoke 都能回答,就认定工具参数或图像输入也能无缝迁移。

本例保留同步单次请求,输出只要求是非空且相关的解释。stream 返回增量消息块,batch 面向一批输入,可能并发发出多个请求;它们不是供应商一定支持的单次批量接口。并发上限应结合服务限流与应用预算设置。

模型名称、超时、输出上限和重试次数应作为可审计配置。temperature、推理强度等参数按模型能力选择,不能把某一家支持的参数原样复制给另一家。具体调用入口参见 LangChain 模型文档。

发生鉴权错误时检查对应提供方的密钥,模型不存在时检查模型名与授权,超时则检查网络和服务时延。自动降级到另一家之前,还要确认数据允许发送至该服务,并验证降级模型满足同样的输出契约。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

接入语言模型

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通