AI Agent / 系统课时
调用大语言模型 API
调用大语言模型 API
本课解决应用程序如何接入大语言模型的问题。学习完成后,你可以通过 API 或 SDK 发送请求,理解请求参数、响应结构,并将模型能力集成到自己的应用中。
学习目标
- 理解大语言模型 API 的基本调用流程
- 掌握请求参数与响应数据结构
- 能够编写简单的模型调用程序
API 调用流程
调用大语言模型通常包含四个步骤:准备访问凭证、构造请求参数、发送请求、解析模型响应。应用程序并不直接运行模型,而是通过网络接口向模型服务提交任务。
一次典型请求包含模型名称、输入消息、生成参数等信息。响应中通常包含模型生成内容、结束原因以及使用统计数据。
使用 SDK 发起请求
本例保留 OpenAI Python SDK 的 Chat Completions 接口和 gpt-4.1-mini。脚本默认走本地模拟,用于核对请求字段和响应分支。实际调用需另行安装 openai、在服务端配置 OPENAI_API_KEY,并显式以 python chat_demo.py --live 运行。密钥通过环境注入,日志中只保留必要的错误分类和请求标识。
python
import sys
from types import SimpleNamespace
from unittest.mock import Mock
def call_model(client, question):
response = client.chat.completions.create(
model="gpt-4.1-mini",
messages=[
{"role": "developer", "content": "用一句中文解释用户提出的概念。"},
{"role": "user", "content": question},
],
max_completion_tokens=120,
)
if not response.choices:
raise ValueError("没有返回候选项")
choice = response.choices[0]
if choice.message.refusal:
raise ValueError("模型拒答")
if choice.finish_reason != "stop":
raise ValueError(f"文本未正常完成: {choice.finish_reason}")
content = choice.message.content
if not isinstance(content, str) or not content.strip():
raise ValueError("文本为空")
return content
if "--live" in sys.argv:
from openai import OpenAI
with OpenAI(timeout=15.0, max_retries=1) as client:
print(call_model(client, "解释什么是 AI Agent"))
else:
client = Mock()
client.chat.completions.create.return_value = SimpleNamespace(
choices=[
SimpleNamespace(
finish_reason="stop",
message=SimpleNamespace(refusal=None, content="模拟回复:Agent 会根据目标选择动作。"),
)
]
)
print(call_model(client, "解释什么是 AI Agent"))
assert client.chat.completions.create.call_args.kwargs["model"] == "gpt-4.1-mini"本地模拟的固定输出如下。真实生成的文字会随请求和模型响应变化。
text
模拟回复:Agent 会根据目标选择动作。请求与响应结构
接口调用的核心是消息结构。在本例中,应用规则放在 developer 消息中,用户输入放在 user 消息中,assistant 消息用于承载模型回复。Chat Completions 的文本在 choices[0].message.content 中;Responses API 则有自己的输出结构和 SDK 便利属性,解析代码不能混用。
json
{
"role": "user",
"content": "帮我生成一个订单查询接口"
}预期结果:
json
{
"role": "assistant",
"content": "可以设计一个查询订单状态的 REST API"
}常见问题
把传输异常与模型输出状态分开处理。身份验证或请求格式错误要先修正输入;超时、部分限流或暂时性服务错误可按错误类别设置有限重试并遵守服务端退避提示。文本截断、拒答和工具调用请求都有各自的响应语义,应交由对应的分支。
按自己的节奏,确认真正理解。