AI Agent / 系统课时

生成记忆摘要

生成记忆摘要

当对话历史逼近上下文上限时,Agent 不能简单删除旧消息,否则会丢失任务目标、用户约束和已完成决策。本课用“结构化摘要 + 最近消息窗口”的方式压缩历史,让后续轮次继续获得关键事实,同时控制上下文长度。

学习目标

  • 判断哪些历史信息必须进入长期摘要,哪些只保留在最近消息窗口
  • 设计可迭代更新的记忆摘要格式,避免每轮从头总结全部历史
  • 在生成摘要后验证关键约束是否仍被保留

先区分必须保留和可以压缩的内容

记忆摘要不是把历史“写短一点”,而是把对后续决策仍有作用的信息提取出来。优先保留四类内容:当前目标与完成条件、用户明确约束、已经确认的事实或决策、尚未完成的待办与阻塞项。闲聊、重复解释、已经失效的中间过程和可从工具重新获取的临时数据通常可以压缩或丢弃。

一个实用的上下文通常由两部分组成:较稳定的摘要负责“记住长期状态”,最近若干轮原始消息负责“保留局部细节”。这样既避免摘要过度抽象,也不会把所有历史永久塞进提示词。

记忆摘要与最近消息窗口协作流程

用固定字段生成可更新的摘要

摘要使用稳定字段,覆盖到哪条消息由游标记录。权威约束和待办状态单独存储,模型摘要只提出便于阅读的描述。以下先验证一次增量更新能否进入存储。

python
def accept_summary(candidate, current_cursor, new_ids, required_limits):
    if not isinstance(candidate, dict) or set(candidate) != {"note", "limits", "through"}:
        return "invalid_summary"
    expected_ids = list(range(current_cursor + 1, current_cursor + len(new_ids) + 1))
    if not new_ids or new_ids != expected_ids or candidate["through"] != new_ids[-1]:
        return "cursor_mismatch"
    if candidate["limits"] != required_limits:
        return "constraint_changed"
    if not isinstance(candidate["note"], str) or not candidate["note"].strip():
        return "invalid_summary"
    return "accepted"

candidate = {"note": "继续筛选上野附近酒店。", "limits": {"budget_jpy": 18000}, "through": 42}
limits = {"budget_jpy": 18000}
print(accept_summary(candidate, 40, [41, 42], limits))
print(accept_summary(candidate, 40, [42], limits))
print(accept_summary({**candidate,"limits":{}}, 40, [41, 42], limits))

输出依次为 accepted、cursor_mismatch 和 constraint_changed。实际存储用当前游标作条件更新,避免迟到的旧摘要覆盖新状态。验证通过只允许保存摘要,不改变可信约束、权限或工具执行结果。必要时保留引用的原消息,定期从原始记录核对摘要遗漏。

在接近上限时触发压缩

不要等模型请求已经失败才压缩。更稳妥的策略是为上下文预算设置阈值,例如估算已使用 token 达到预算的 70%~80% 时触发摘要更新。压缩后保留摘要、系统指令、必要工具结果和最近消息窗口,再重新组装下一轮上下文。

触发条件应基于“上下文预算”而不是消息条数,因为一条工具返回可能比几十条短消息更长。摘要本身也要设置上限;如果摘要持续膨胀,就需要再次去重、合并过时事实,并把已完成待办从长期记忆中删除。

压缩后做三项校验

摘要生成成功不等于记忆可靠。每次替换旧上下文前,至少检查三件事:任务目标是否仍完整、硬性约束是否逐条保留、未完成事项是否没有被误标为已完成。对于支付、权限、删除数据等高风险任务,还应把关键状态保存在结构化检查点中,而不是只依赖自然语言摘要。

如果压缩后模型开始重复询问已经确认的信息,通常说明摘要遗漏事实;如果模型违反早先约束,说明约束字段没有被稳定保留。最有效的修复不是无限扩大最近窗口,而是改进摘要字段和生成提示词,使“必须记住什么”变成明确契约。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

生成记忆摘要

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通