大模型应用开发 / 系统课时

调用对话接口

调用对话接口

学习目标

完成本课后,你将能够:

  • 使用 /api/chat 组织系统、用户和助手消息
  • 维护客户端侧多轮会话历史
  • 理解消息角色与模型模板的关系
  • 限制历史长度并处理对话状态

chat 与 generate 的区别

/api/chat 接收 messages 数组,每条消息带有角色。服务会根据模型模板把消息转换为模型输入。常见角色:

  • system:定义助手行为和边界
  • user:用户输入
  • assistant:模型历史回答
  • tool:工具执行结果,适用于工具调用

Ollama 服务默认不会替普通客户端永久保存会话。客户端需要把需要保留的历史消息在下一次请求中再次提交。

单轮对话请求

执行:

bash
curl --fail --silent --show-error http://localhost:11434/api/chat   -H "Content-Type: application/json"   -d '{
    "model": "gemma3:1b",
    "messages": [
      {
        "role": "system",
        "content": "你是技术助教,回答必须简洁准确。"
      },
      {
        "role": "user",
        "content": "什么是模型上下文窗口?"
      }
    ],
    "stream": false
  }'

预期响应结构:

json
{
  "model": "gemma3:1b",
  "message": {
    "role": "assistant",
    "content": "<MODEL_RESPONSE>"
  },
  "done": true,
  "total_duration": 0,
  "eval_count": 0,
  "eval_duration": 0
}

多轮会话原理

第二轮请求必须包含第一轮用户消息和助手回答:

text
system
user: 第一轮问题
assistant: 第一轮回答
user: 第二轮问题

只提交第二轮问题时,模型无法知道第一轮上下文,除非问题中重新包含相关信息。

Python 多轮示例

保存为 chat_session.py:

python
import json
import urllib.request

URL = "http://localhost:11434/api/chat"
MODEL = "gemma3:1b"

messages = [
    {
        "role": "system",
        "content": "你是技术助教。回答不超过 100 字。",
    }
]

def chat(user_text: str) -> str:
    messages.append({"role": "user", "content": user_text})
    payload = {
        "model": MODEL,
        "messages": messages,
        "stream": False,
        "options": {"temperature": 0},
    }
    request = urllib.request.Request(
        URL,
        data=json.dumps(payload).encode("utf-8"),
        headers={"Content-Type": "application/json"},
    )
    with urllib.request.urlopen(request, timeout=180) as response:
        result = json.load(response)

    assistant = result["message"]
    messages.append(assistant)
    return assistant["content"].strip()

print(chat("记住项目名称是 Anystack。"))
print(chat("项目名称是什么?"))
print(f"message_count={len(messages)}")

运行:

bash
python chat_session.py

预期输出结构:

text
<FIRST_RESPONSE>
<RESPONSE_CONTAINING_ANYSTACK>
message_count=5

模型文本不固定,但第二轮应能基于已回传历史识别项目名称。

历史消息管理

无限追加历史会造成上下文增长。常用策略:

  • 保留系统消息。
  • 保留最近 N 轮。
  • 对较早消息生成摘要。
  • 删除无关工具结果和重复内容。
  • 为长文档使用 RAG,不把全文永久放在会话中。
  • 在裁剪后验证关键信息是否仍保留。

裁剪按 Token 预算进行,比按消息条数更可靠。

系统消息的边界

系统消息可以规定角色、语言和格式,但不能保证模型绝对遵守。关键业务规则仍应由程序验证。例如:

  • JSON 必须做 Schema 校验。
  • 权限必须由服务端控制。
  • SQL 必须限制数据库权限。
  • 工具参数必须验证类型与范围。
  • 敏感数据不能仅依赖提示词保护。

消息结构错误

常见问题:

  • 角色拼写错误。
  • messages 不是数组。
  • content 类型与模型能力不匹配。
  • 把所有历史拼成一条 user 文本,破坏角色边界。
  • 没有把助手回答加入下一轮。
  • 历史过长导致截断。

客户端应在发送前验证消息结构。

本课练习

练习 1:实现三轮会话

任务目标:维护完整历史。输入或初始条件:准备三个有依赖关系的问题。实现要求:每轮把助手消息加入数组。验收条件:第三轮能引用第一轮信息。

练习 2:实现历史裁剪

任务目标:控制上下文增长。输入或初始条件:模拟 20 轮消息。实现要求:保留系统消息和最近消息,并生成旧历史摘要。验收条件:消息数量受控且关键事实仍可回答。

练习 3:验证业务规则

任务目标:不把提示词当作唯一校验。输入或初始条件:要求模型输出固定 JSON。实现要求:增加程序级 Schema 验证。验收条件:不合格结果被拒绝或重试。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

调用对话接口

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通