大模型应用开发 / 系统课时

缩短输入上下文

缩短输入上下文

输入上下文越长,推理成本和首 token 延迟通常越高。本节把上下文拆成系统指令、历史消息、检索片段和当前问题,建立明确预算,并用代码演示只保留真正影响回答的内容。

学习目标

  • 能识别输入上下文中最常见的冗余来源
  • 能按预算裁剪历史消息与检索片段
  • 能用质量指标验证缩短上下文没有伤害回答

先拆清输入从哪里来

一次请求的输入通常由四部分组成:系统指令、对话历史、检索上下文和当前用户消息。可以把输入规模近似看成 Tin=Tsys+Thist+Trag+TuserT_{in}=T_{sys}+T_{hist}+T_{rag}+T_{user}。优化重点不是把每一部分都压到最短,而是删除不会改变正确答案的内容。

系统指令优先保留角色边界、输出格式、安全约束和当前任务规则;背景介绍、重复措辞和已经被更高优先级规则覆盖的句子可以删除。历史消息保留仍会影响指代、约束和偏好的部分;检索片段只保留回答当前问题所需的证据。

输入上下文预算与裁剪位置

按预算组装上下文

最稳妥的做法是在调用模型之前统一组装上下文,而不是让每个业务模块无限追加文本。下面的示例只保留最近两条历史消息和前两个检索片段,确保“裁剪策略”集中在一个地方。

python
def build_context(system_instruction, history, snippets, user_message,
                  max_history_messages=2, max_snippets=2):
    # 系统指令先做空白归一化,真正的语义删减应在规则设计阶段完成。
    compact_instruction = " ".join(system_instruction.split())
    # 历史和检索片段都在请求组装阶段执行硬预算,避免下游继续累加。
    kept_history = history[-max_history_messages:]
    kept_snippets = snippets[:max_snippets]

    lines = [f"System: {compact_instruction}", "History:"]
    lines.extend(f"{role}: {content}" for role, content in kept_history)
    lines.append("Retrieved:")
    lines.extend(kept_snippets)
    lines.append(f"User: {user_message}")
    return "\n".join(lines), kept_history, kept_snippets

history = [
    ("user", "Tell me the product background."),
    ("assistant", "It is a hosted API."),
    ("user", "Compare option A and option B."),
    ("assistant", "A is cheaper; B is faster."),
]
snippets = [
    "doc-1: A costs less per request.",
    "doc-2: B has lower median latency.",
    "doc-3: Company history and office locations.",
]

context, kept_history, kept_snippets = build_context(
    "Answer with one recommendation and one reason.",
    history,
    snippets,
    "Which option should I choose?",
)

print(f"history_messages={len(kept_history)}")
print(f"retrieval_snippets={len(kept_snippets)}")
print(context)

预期输出

text
history_messages=2
retrieval_snippets=2
System: Answer with one recommendation and one reason.
History:
user: Compare option A and option B.
assistant: A is cheaper; B is faster.
Retrieved:
doc-1: A costs less per request.
doc-2: B has lower median latency.
User: Which option should I choose?

这个例子故意没有把第三个检索片段送进模型,因为“公司历史和办公地点”与当前选择无关。生产环境不应只按固定条数裁剪,而应同时设置 token 预算、相关性阈值和最小证据覆盖要求,并使用所选模型对应的 tokenizer 计算真实 token 数。

分别处理三类冗余

删除指令冗余时,先合并重复规则,再删除与当前任务无关的背景说明。不要为了省 token 删除输出结构、合规约束或决定答案口径的条件,否则模型可能变得更便宜,却更难预测。

压缩历史消息时,可保留最近若干轮原文,把更早对话压成结构化摘要,例如“已确认需求、未解决问题、用户约束”。摘要必须可覆盖关键事实;涉及数字、权限、承诺或精确配置时,关键原文应单独保留,避免摘要漂移。

减少检索片段时,优先做去重、相关性排序和片段级截断。不要把“top-k 越小越好”当成目标:若问题需要多个证据源,过度压缩会让回答缺少依据。更合理的是先定义最低证据覆盖,再在覆盖要求内压缩长度。

用质量门槛验证节省是否成立

优化前后至少同时观察输入 token、首 token 延迟、总延迟和任务质量。对有标准答案的场景可以比较准确率或事实一致性;对生成任务可以维护一组回归样例,检查关键约束是否仍被满足。

一次有效的缩短通常表现为:输入 token 明显下降,质量指标基本不变,延迟和费用同步下降。如果质量先恶化,再低的 token 数也只是把必要信息删掉了。最终应把“上下文预算”当成请求组装的固定约束,而不是上线后才做的临时清理。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

缩短输入上下文

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通