大模型应用开发 / 系统课时
对话记忆类型与选择
对话记忆类型与选择
多轮对话需要模型"记住"之前说过的内容,但把全部历史都塞进提示词会很快消耗掉上下文长度。本课了解几种常见记忆组件的适用场景与限制,为下一课集成记忆做准备。
学习目标
- 了解几种常见对话记忆组件的实现方式
- 理解各类记忆在上下文长度上的权衡
- 能够根据场景选择合适的记忆策略
常见记忆类型对比
| 记忆类型 | 实现方式 | 适用场景 | 主要限制 |
|---|---|---|---|
| 全量历史 | 保存完整对话记录 | 短对话、需要精确追溯 | 轮次增多后上下文迅速膨胀 |
| 滑动窗口 | 只保留最近 N 轮 | 中等长度的连续对话 | 早期关键信息会被丢弃 |
| 摘要记忆 | 用模型持续压缩历史为摘要 | 长对话、需要长期记忆 | 摘要过程存在信息损失且消耗额外调用 |
代码示例
下面使用当前 langchain-core 的消息裁剪实现窗口策略,不再从旧式 langchain.memory 导入组件。保存后可离线运行,无模型密钥要求。
python
from langchain_core.messages import HumanMessage, AIMessage, trim_messages
messages = []
for i in range(4):
messages.extend([HumanMessage(content=f"问题{i}"), AIMessage(content=f"回答{i}")])
# 用消息条数模拟最近3轮;真实上下文预算应使用模型的token计数。
window = trim_messages(messages, max_tokens=6, token_counter=len,
strategy="last", start_on="human", allow_partial=False)
print("完整消息数:", len(messages))
print("窗口消息数:", len(window))
print("窗口起点:", window[0].content)预期输出:
text
完整消息数: 8
窗口消息数: 6
窗口起点: 问题1完整存储仍保存 8 条消息,传给模型的窗口只有最近 6 条;裁剪上下文与删除历史记录是两件事。这里没有工具消息,不能将简单的两条一轮直接套用于有工具调用的 Agent。
关键边界
摘要记忆依赖额外的一次模型调用来生成或更新摘要,会带来额外的延迟和成本;实际项目中往往会结合窗口记忆与摘要记忆,近期对话保留原文,更早的内容压缩为摘要。
存储历史与选择上下文分开
全量历史、滑动窗口与摘要这三种策略依然适用,但不必绑定到某个旧 Memory 类名。新式 Agent 可按线程保存状态与检查点,普通链也可使用消息历史包装器;两者都需要可信会话身份,不能把所有用户写进一份全局历史。
窗口能限制近期输入,但会丢失早期事实;摘要能保留部分长期信息,却可能遗漏数字、否定和用户更正。关键偏好可存成经过验证的结构化事实,并记录来源,避免把模型推测写成长期记忆。摘要更新也会增加调用成本与延迟。
工具调用消息与对应工具结果必须保持合法配对,不能只按字符数随意截断。系统消息、当前用户问题和预留回答预算也要计入总上下文;例子使用 len 是为了确定性演示,生产 token 计数应匹配所选模型。
测试两名用户、长对话和工具调用序列,确认隔离、裁剪边界及恢复过程正确。内存存储重启会丢失,多实例部署则需要共享的持久化实现,并设置保留期限。相关状态方式见 LangChain 短期记忆文档。
按自己的节奏,确认真正理解。