AI Agent / 系统课时

压缩与选择上下文

压缩与选择上下文

上下文窗口有限时,正确策略不是把所有历史内容平均压缩,而是先保留最影响当前决策的信息,再压缩仍有价值但过长的材料。通过相关性、时效性和优先级建立选择规则,可以减少噪声,同时避免关键约束在压缩中丢失。

学习目标

  • 按相关性、时效性和优先级筛选上下文
  • 在固定预算内决定保留全文、压缩内容或直接丢弃
  • 识别不能被摘要覆盖的约束、证据和精确数据

先选择再压缩

直接把全部历史消息做一次摘要,会把重要约束和无关闲聊一起压缩,结果往往是长度下降了,但信息密度没有明显提升。更稳妥的顺序是先判断哪些内容值得进入当前上下文,再决定其中哪些需要压缩。

通常应优先保留当前任务的明确约束、最近产生的执行状态和直接相关的证据。较早的讨论只有在仍影响当前决策时才需要保留;已经失效、重复或与当前任务无关的信息可以直接移除。

上下文选择、预算控制与压缩流程

建立可执行的选择规则

相关性回答“这条信息是否直接影响当前任务”,时效性回答“它现在是否仍然有效”,优先级则表示“即使预算紧张,这条信息是否仍不能丢”。三者可以组合成评分,但强约束不应只依赖加权分数。

例如,可以先固定保留当前任务规则和必要状态,再对普通候选内容使用类似 score=0.5×relevance+0.3×freshness+0.2×priorityscore=0.5\times relevance+0.3\times freshness+0.2\times priority 的评分。权重不是通用常数,应根据 Agent 的任务类型调整。

用预算选择并按需压缩

先从总窗口预留输出、消息包装和工具描述的额度。剩下的输入预算先放入必须保留的规则与执行状态,再考虑普通候选。下面直接用预估 Token 数演示。

python
def select_context(total, reserved, required, candidates):
    if total < 0 or reserved < 0 or reserved > total:
        raise ValueError("invalid budget")
    if any(cost < 0 for _, cost in required):
        raise ValueError("invalid required cost")
    budget = total - reserved
    used = sum(cost for _, cost in required)
    if used > budget:
        raise ValueError("required context exceeds budget")
    selected = [(name, "full") for name, _ in required]
    for name, score, full, compact in sorted(candidates, key=lambda item: -item[1]):
        if not 0 <= compact <= full:
            raise ValueError("invalid candidate cost")
        if used + full <= budget:
            selected.append((name, "full"))
            used += full
        elif score >= 0.75 and used + compact <= budget:
            selected.append((name, "compact"))
            used += compact
    return selected, used

required = [("system_rule", 80), ("execution_state", 30)]
optional = [("recent_error", 0.95, 120, 70), ("api_doc", 0.8, 140, 60)]
print(select_context(360, 100, required, optional))
print(select_context(210, 100, required, optional))
try:
    select_context(209, 100, required, optional)
except ValueError as error:
    print(error)

输入预算为 260 时,保留两个必需项和完整错误,共 230 Token。输入预算正好 110 时只保留必需项。再少一个 Token,选择器明确返回错误,由应用缩小任务或调整窗口。该贪心排序用于说明优先级,实际发送前仍需用目标模型的计量方式核对已拼装请求,并为输出留出空间。

处理冲突与失效信息

上下文选择不只是“装得下多少”,还要解决内容互相冲突的问题。遇到冲突时,应先按照 Agent 明确定义的信息权威级别判断,再比较信息是否仍然有效,不能简单选择得分最高或出现得最晚的一条。

对于时效性强的数据,应保存来源和获取时间;新的可靠结果出现后,旧结果应被替换或降级,而不是继续和新结果同时进入上下文。重复事实可以合并,但不同来源之间真正存在的差异不能为了节省 token 被强行摘要成同一句话。

控制压缩造成的信息损失

适合压缩的是冗长解释、重复描述和已经确认的中间推理结果。通常应原样保留的是当前约束、精确参数、关键代码片段、错误信息、工具返回中的决定性字段以及仍待处理的任务状态。

最终上下文不需要复刻全部历史,而要让 Agent 能稳定回答三个问题:现在要完成什么、下一步依据什么执行、哪些约束绝不能违反。只要压缩后这三类信息仍然完整且可追溯,上下文缩短才真正带来了收益。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

压缩与选择上下文

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通