AI Agent / 系统课时

实现短期对话记忆

实现短期对话记忆

短期对话记忆的目标不是“把所有历史都塞回模型”,而是在有限上下文窗口内保留当前任务所需的信息。本节用一个可运行的消息筛选器,把系统指令、高优先级事实和最近对话按规则装入窗口,并给出可验证的裁剪结果。

学习目标

  • 设计“系统指令优先、重要事实次之、最近消息补足”的窗口策略
  • 用明确预算限制历史长度,避免上下文无限增长
  • 在裁剪后仍保持消息顺序可读,并识别不该丢失的信息

先定义窗口策略

短期记忆通常只服务于当前会话,因此最重要的是可控。一个实用的优先级可以分成三层:系统指令永远保留;被标记为高优先级的用户事实优先保留;剩余预算再从最新消息向前填充。这样既不会因为聊天变长而持续膨胀,也能降低关键约束被旧消息淹没的风险。

短期记忆窗口的消息筛选流程

这里的“预算”可以按真实 token 数实现,也可以先用字符数做教学级近似。生产环境应使用对应模型的 tokenizer 计算 token,而不是把字符数当成精确 token 数。

实现一个可运行的筛选器

把系统规则、用户的长期约束和当前问题视为必须保留的输入。过去对话按完整轮次裁剪。一轮包含工具调用时,把助手的工具请求和对应工具结果放在同一组。

python
def select_history(rules, completed_turns, current, max_chars):
    if max_chars < 0:
        raise ValueError("invalid budget")
    fixed = [*rules, current]
    used = sum(len(message["content"]) for message in fixed)
    if used > max_chars:
        raise ValueError("required context exceeds budget")

    selected = []
    for turn in reversed(completed_turns):
        size = sum(len(message["content"]) for message in turn)
        if used + size > max_chars:
            break
        selected.append(turn)
        used += size
    history = [message for turn in reversed(selected) for message in turn]
    return [*rules, *history, current], used

rules = [{"role": "system", "content": "预算900元"}]
turns = [[{"role": "user", "content": "查价格"},
          {"role": "assistant", "content": "已查到酒店价格"}]]
current = {"role": "user", "content": "东京上野"}
for budget in (22, 12):
    messages, used = select_history(rules, turns, current, budget)
    print([message["role"] for message in messages], used)

22 字符时整组历史可保留。12 字符时只保留规则与当前问题。此处按字符演示。真实工具消息可能没有文本 content,还带调用 ID 和参数,计量要覆盖整条序列化消息。当前仍未回填结果的工具轮次应视为必需状态,不能从中间截断。

处理窗口变小后的边界

如果预算非常小,高优先级内容本身也可能超过窗口。此时不要简单继续堆消息,而应进入第二层策略:对较早对话做摘要,只保留任务状态、用户约束和未完成事项;对高优先级事实做去重;对已经失效的信息降低优先级或删除。

对于工具调用型 Agent,还要额外保留正在进行中的工具结果标识、未完成步骤和必要参数。否则模型虽然“记得聊天”,却可能丢失任务执行状态。

验证短期记忆是否有效

验证时不要只看能否继续聊天,而要检查三个结果:关键约束是否仍在、过期内容是否能被裁剪、窗口大小是否稳定。可以构造一段足够长的历史,再逐步缩小预算,确认系统指令、当前问题和高优先级事实要么完整保留,要么明确返回必需项超预算。

短期记忆的核心不是保存得多,而是让有限窗口始终承载“当前任务最需要的信息”。当历史开始跨会话复用,或事实需要在数天后再次检索时,就应转向长期记忆,而不是继续放大短期窗口。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

实现短期对话记忆

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通