大模型应用开发 / 系统课时

设置上下文长度

设置上下文长度

学习目标

完成本课后,你将能够:

  • 理解上下文窗口包含哪些 Token
  • 使用 CLI、API 和 Modelfile 设置 num_ctx
  • 根据任务长度和显存选择上下文
  • 验证实际分配的上下文与处理器分布

上下文窗口的边界

上下文窗口是模型一次推理可以访问的 Token 总量。它通常包含系统提示词、历史消息、当前输入、工具定义和已经生成的输出。输入占用越多,可用于继续生成的空间越少。

上下文长度不是“文档字符数”。不同语言、代码和标点的 Token 化结果不同。

上下文为什么消耗内存

模型需要为上下文维护 KV Cache。上下文越长,缓存通常越大;并行请求越多,总缓存需求也越高。过大的上下文可能导致:

  • 模型部分回退到 CPU
  • 首字延迟增加
  • 并发容量下降
  • 内存或显存不足
  • 长输入被截断或请求失败

因此,应使用满足任务的最小合理上下文,而不是无条件设置最大值。

在交互会话中设置

启动模型后输入:

text
>>> /set parameter num_ctx 8192
>>> /show parameters

预期结果:

text
<PARAMETER_LIST_CONTAINING_NUM_CTX_8192>

交互命令展示可能随版本变化。该设置主要影响当前会话。

通过 API 设置

执行非流式请求:

bash
curl --fail --silent --show-error http://localhost:11434/api/generate   -H "Content-Type: application/json"   -d '{
    "model": "gemma3:1b",
    "prompt": "用一句话解释上下文窗口。",
    "stream": false,
    "options": {
      "num_ctx": 8192,
      "num_predict": 64
    }
  }'

预期响应结构:

json
{
  "model": "gemma3:1b",
  "response": "<MODEL_RESPONSE>",
  "done": true,
  "prompt_eval_count": 0,
  "eval_count": 0
}

计数字段的真实值不会是固定 0。示例仅表示返回结构。

通过 Modelfile 固化

创建 Modelfile:

text
FROM gemma3:1b
PARAMETER num_ctx 8192

构建:

bash
ollama create anystack-context:8k -f Modelfile

预期输出:

text
gathering model components
...
success

验证:

bash
ollama show anystack-context:8k

预期结果:

text
参数信息中包含 num_ctx 8192,或 Modelfile 中保留该配置。

Modelfile 更适合为应用提供稳定模型名称。

设置服务默认上下文

临时启动服务:

bash
OLLAMA_CONTEXT_LENGTH=8192 ollama serve

预期输出:

text
<SERVICE_START_LOGS>

对于桌面应用或 systemd 服务,应按平台设置环境变量并完全重启。服务默认值可被请求级 num_ctx 覆盖。

验证实际分配

运行一次请求后执行:

bash
ollama ps

预期输出示例:

text
NAME          ID          SIZE      PROCESSOR    CONTEXT    UNTIL
<MODEL>       <ID>        <SIZE>    <PROCESSOR>  8192       <UNTIL>

同时观察 PROCESSOR。如果增大上下文后模型从完全 GPU 变为 CPU/GPU 混合,说明缓存使显存压力上升。

选择上下文的步骤

  1. 统计真实输入 Token 分布。
  2. 预留系统提示词和工具定义空间。
  3. 预留最大输出长度。
  4. 从较小值开始基准测试。
  5. 记录首字延迟、显存和截断情况。
  6. 测试目标并发。
  7. 只有实际需要时再增加。

长文档应用还应使用切分、检索和摘要,而不是把所有资料无差别塞入上下文。

本课练习

练习 1:比较 4K 与 8K

任务目标:观察上下文对资源和延迟的影响。输入或初始条件:同一模型、同一短提示词。

实现要求:分别设置 4096 和 8192,记录 ollama ps 与耗时。验收条件:解释差异是否来自上下文分配。

练习 2:估算会话预算

任务目标:为聊天历史分配上下文。输入或初始条件:系统提示词、历史消息和最大输出均已知。实现要求:制定历史裁剪阈值

验收条件:总 Token 预算不超过设定上下文并留有余量。

练习 3:验证请求级覆盖

任务目标:理解配置优先级。输入或初始条件:服务默认上下文与 API 请求设置不同。实现要求:发送请求并检查 ollama ps。验收条件:能说明实际生效值和覆盖关系。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

设置上下文长度

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通