大模型应用开发 / 系统课时
控制上下文窗口
控制上下文窗口
对话越长,不代表模型拿到的信息越有价值。本节把上下文窗口拆成固定预算与可裁剪历史两部分,并用一个可运行的裁剪器保留最近完整轮次,避免超限、截断工具链或让陈旧信息挤占当前问题。
学习目标
- 能按模型窗口为系统指令、当前请求、历史消息和输出预留预算
- 能按完整对话轮次从旧到新裁剪历史,而不是机械删除单条消息
- 能识别工具调用、系统消息和当前用户请求等不能随意截断的边界
先为不可裁剪内容留出预算
上下文限制约束的是一次请求中送入模型的全部内容,不只是聊天记录。系统指令、工具定义、当前用户消息、历史消息都会占用输入空间,还要为模型输出预留余量。工程上应先扣除这些硬预算,再让历史消息使用剩余空间。
可以把可用历史预算理解为:模型窗口减去系统与工具开销、当前请求开销以及计划输出上限。不要把窗口填到极限;模板变化、工具参数和分词差异都会让估算产生偏差,通常还应保留一段安全余量。

按完整轮次裁剪历史
下面的示例只用字符数加固定消息开销做教学估算,目的是演示裁剪顺序;它不是模型真实 token 计数。生产环境应替换为目标模型对应的 tokenizer 或官方计数接口,但“先分轮次、再从最旧轮次淘汰”的策略可以直接保留。
from __future__ import annotations
import json
from typing import Dict, List
Message = Dict[str, str]
def estimate_units(message: Message) -> int:
# 教学用近似值;生产环境应替换为目标模型的真实 token 计数。
return len(message["content"]) + 4
def group_turns(history: List[Message]) -> List[List[Message]]:
turns: List[List[Message]] = []
current: List[Message] = []
for message in history:
# 新的 user 消息视为下一轮开始,避免只留下半个问答。
if message["role"] == "user" and current:
turns.append(current)
current = []
current.append(message)
if current:
turns.append(current)
return turns
def trim_history(history: List[Message], budget: int) -> List[Message]:
kept_turns: List[List[Message]] = []
used = 0
# 从最新轮次向前选择,预算不足时舍弃更旧的整轮消息。
for turn in reversed(group_turns(history)):
cost = sum(estimate_units(message) for message in turn)
if used + cost > budget:
continue
kept_turns.insert(0, turn)
used += cost
return [message for turn in kept_turns for message in turn]
history = [
{"role": "user", "content": "把订单查询接口改成分页"},
{"role": "assistant", "content": "已改为 page 和 pageSize 参数。"},
{"role": "user", "content": "还要支持按状态筛选"},
{"role": "assistant", "content": "新增 status 参数并传入查询层。"},
]
trimmed = trim_history(history, budget=40)
print(json.dumps(trimmed, ensure_ascii=False, indent=2))预期输出
[
{
"role": "user",
"content": "还要支持按状态筛选"
},
{
"role": "assistant",
"content": "新增 status 参数并传入查询层。"
}
]这里的预算只允许最近一轮进入历史区,因此更早的分页讨论被整体移除。真实应用中,系统消息和当前用户消息通常不放进这个裁剪函数,而是在裁剪完成后与保留历史重新组装请求。
把硬约束和软历史分开处理
不能把所有消息都当作同一种可删除记录。系统指令决定模型行为,当前用户消息是本轮任务本身,工具调用与工具结果常常成对存在;这些内容如果被截成半段,可能让请求语义失真甚至无法通过接口校验。
较稳妥的组装顺序是先固定系统指令、工具定义和当前请求,再计算剩余预算;历史区只放完整轮次,并优先保留最近内容。如果应用支持工具调用,还应把一次 tool call 及其对应 result 视为不可拆分单元。
验证裁剪是否真的有效
上线前至少验证三件事:组装后的输入没有超过模型限制;裁剪后最近任务仍能被正确回答;被删除的旧信息如果仍有业务价值,已经进入摘要或长期记忆,而不是永久丢失。还应记录裁剪前后估算 token 数、被删除轮次数和最终输入大小,便于定位上下文异常。
窗口控制的核心不是“尽量塞满”,而是先保护本轮必须信息,再让最近且相关的历史使用剩余预算。这样既能降低超限风险,也能减少陈旧上下文对当前回答的干扰。