大模型应用开发 / 系统课时
调用对话接口
调用对话接口
学习目标
完成本课后,你将能够:
- 使用
/api/chat组织系统、用户和助手消息- 维护客户端侧多轮会话历史
- 理解消息角色与模型模板的关系
- 限制历史长度并处理对话状态
chat 与 generate 的区别
/api/chat 接收 messages 数组,每条消息带有角色。服务会根据模型模板把消息转换为模型输入。常见角色:
system:定义助手行为和边界user:用户输入assistant:模型历史回答tool:工具执行结果,适用于工具调用
Ollama 服务默认不会替普通客户端永久保存会话。客户端需要把需要保留的历史消息在下一次请求中再次提交。
单轮对话请求
执行:
bash
curl --fail --silent --show-error http://localhost:11434/api/chat -H "Content-Type: application/json" -d '{
"model": "gemma3:1b",
"messages": [
{
"role": "system",
"content": "你是技术助教,回答必须简洁准确。"
},
{
"role": "user",
"content": "什么是模型上下文窗口?"
}
],
"stream": false
}'预期响应结构:
json
{
"model": "gemma3:1b",
"message": {
"role": "assistant",
"content": "<MODEL_RESPONSE>"
},
"done": true,
"total_duration": 0,
"eval_count": 0,
"eval_duration": 0
}多轮会话原理
第二轮请求必须包含第一轮用户消息和助手回答:
text
system
user: 第一轮问题
assistant: 第一轮回答
user: 第二轮问题只提交第二轮问题时,模型无法知道第一轮上下文,除非问题中重新包含相关信息。
Python 多轮示例
保存为 chat_session.py:
python
import json
import urllib.request
URL = "http://localhost:11434/api/chat"
MODEL = "gemma3:1b"
messages = [
{
"role": "system",
"content": "你是技术助教。回答不超过 100 字。",
}
]
def chat(user_text: str) -> str:
messages.append({"role": "user", "content": user_text})
payload = {
"model": MODEL,
"messages": messages,
"stream": False,
"options": {"temperature": 0},
}
request = urllib.request.Request(
URL,
data=json.dumps(payload).encode("utf-8"),
headers={"Content-Type": "application/json"},
)
with urllib.request.urlopen(request, timeout=180) as response:
result = json.load(response)
assistant = result["message"]
messages.append(assistant)
return assistant["content"].strip()
print(chat("记住项目名称是 Anystack。"))
print(chat("项目名称是什么?"))
print(f"message_count={len(messages)}")运行:
bash
python chat_session.py预期输出结构:
text
<FIRST_RESPONSE>
<RESPONSE_CONTAINING_ANYSTACK>
message_count=5模型文本不固定,但第二轮应能基于已回传历史识别项目名称。
历史消息管理
无限追加历史会造成上下文增长。常用策略:
- 保留系统消息。
- 保留最近 N 轮。
- 对较早消息生成摘要。
- 删除无关工具结果和重复内容。
- 为长文档使用 RAG,不把全文永久放在会话中。
- 在裁剪后验证关键信息是否仍保留。
裁剪按 Token 预算进行,比按消息条数更可靠。
系统消息的边界
系统消息可以规定角色、语言和格式,但不能保证模型绝对遵守。关键业务规则仍应由程序验证。例如:
- JSON 必须做 Schema 校验。
- 权限必须由服务端控制。
- SQL 必须限制数据库权限。
- 工具参数必须验证类型与范围。
- 敏感数据不能仅依赖提示词保护。
消息结构错误
常见问题:
- 角色拼写错误。
messages不是数组。content类型与模型能力不匹配。- 把所有历史拼成一条
user文本,破坏角色边界。 - 没有把助手回答加入下一轮。
- 历史过长导致截断。
客户端应在发送前验证消息结构。
本课练习
练习 1:实现三轮会话
任务目标:维护完整历史。输入或初始条件:准备三个有依赖关系的问题。实现要求:每轮把助手消息加入数组。验收条件:第三轮能引用第一轮信息。
练习 2:实现历史裁剪
任务目标:控制上下文增长。输入或初始条件:模拟 20 轮消息。实现要求:保留系统消息和最近消息,并生成旧历史摘要。验收条件:消息数量受控且关键事实仍可回答。
练习 3:验证业务规则
任务目标:不把提示词当作唯一校验。输入或初始条件:要求模型输出固定 JSON。实现要求:增加程序级 Schema 验证。验收条件:不合格结果被拒绝或重试。
按自己的节奏,确认真正理解。