大模型应用开发 / 系统课时
设置上下文长度
设置上下文长度
学习目标
完成本课后,你将能够:
- 理解上下文窗口包含哪些 Token
- 使用 CLI、API 和 Modelfile 设置
num_ctx- 根据任务长度和显存选择上下文
- 验证实际分配的上下文与处理器分布
上下文窗口的边界
上下文窗口是模型一次推理可以访问的 Token 总量。它通常包含系统提示词、历史消息、当前输入、工具定义和已经生成的输出。输入占用越多,可用于继续生成的空间越少。
上下文长度不是“文档字符数”。不同语言、代码和标点的 Token 化结果不同。
上下文为什么消耗内存
模型需要为上下文维护 KV Cache。上下文越长,缓存通常越大;并行请求越多,总缓存需求也越高。过大的上下文可能导致:
- 模型部分回退到 CPU
- 首字延迟增加
- 并发容量下降
- 内存或显存不足
- 长输入被截断或请求失败
因此,应使用满足任务的最小合理上下文,而不是无条件设置最大值。
在交互会话中设置
启动模型后输入:
>>> /set parameter num_ctx 8192
>>> /show parameters预期结果:
<PARAMETER_LIST_CONTAINING_NUM_CTX_8192>交互命令展示可能随版本变化。该设置主要影响当前会话。
通过 API 设置
执行非流式请求:
curl --fail --silent --show-error http://localhost:11434/api/generate -H "Content-Type: application/json" -d '{
"model": "gemma3:1b",
"prompt": "用一句话解释上下文窗口。",
"stream": false,
"options": {
"num_ctx": 8192,
"num_predict": 64
}
}'预期响应结构:
{
"model": "gemma3:1b",
"response": "<MODEL_RESPONSE>",
"done": true,
"prompt_eval_count": 0,
"eval_count": 0
}计数字段的真实值不会是固定 0。示例仅表示返回结构。
通过 Modelfile 固化
创建 Modelfile:
FROM gemma3:1b
PARAMETER num_ctx 8192构建:
ollama create anystack-context:8k -f Modelfile预期输出:
gathering model components
...
success验证:
ollama show anystack-context:8k预期结果:
参数信息中包含 num_ctx 8192,或 Modelfile 中保留该配置。Modelfile 更适合为应用提供稳定模型名称。
设置服务默认上下文
临时启动服务:
OLLAMA_CONTEXT_LENGTH=8192 ollama serve预期输出:
<SERVICE_START_LOGS>对于桌面应用或 systemd 服务,应按平台设置环境变量并完全重启。服务默认值可被请求级 num_ctx 覆盖。
验证实际分配
运行一次请求后执行:
ollama ps预期输出示例:
NAME ID SIZE PROCESSOR CONTEXT UNTIL
<MODEL> <ID> <SIZE> <PROCESSOR> 8192 <UNTIL>同时观察 PROCESSOR。如果增大上下文后模型从完全 GPU 变为 CPU/GPU 混合,说明缓存使显存压力上升。
选择上下文的步骤
- 统计真实输入 Token 分布。
- 预留系统提示词和工具定义空间。
- 预留最大输出长度。
- 从较小值开始基准测试。
- 记录首字延迟、显存和截断情况。
- 测试目标并发。
- 只有实际需要时再增加。
长文档应用还应使用切分、检索和摘要,而不是把所有资料无差别塞入上下文。
本课练习
练习 1:比较 4K 与 8K
任务目标:观察上下文对资源和延迟的影响。输入或初始条件:同一模型、同一短提示词。
实现要求:分别设置 4096 和 8192,记录 ollama ps 与耗时。验收条件:解释差异是否来自上下文分配。
练习 2:估算会话预算
任务目标:为聊天历史分配上下文。输入或初始条件:系统提示词、历史消息和最大输出均已知。实现要求:制定历史裁剪阈值
验收条件:总 Token 预算不超过设定上下文并留有余量。
练习 3:验证请求级覆盖
任务目标:理解配置优先级。输入或初始条件:服务默认上下文与 API 请求设置不同。实现要求:发送请求并检查 ollama ps。验收条件:能说明实际生效值和覆盖关系。