大模型应用开发 / 系统课时

优化上下文与批处理参数

优化上下文与批处理参数

学习目标

完成本课后,你将能够:

  • 根据输入、输出和历史消息估算所需上下文
  • 使用 num_ctx 或服务级上下文配置控制缓存规模
  • 区分请求并行、嵌入批量输入与应用层批处理
  • 通过对照实验优化首字延迟、吞吐和显存占用

上下文不是越大越好

上下文窗口决定一次请求可容纳的系统消息、历史消息、当前输入和生成结果。设置过小会截断信息,设置过大则会增加 KV Cache 和预填充成本。合理容量应满足:

text
需要的上下文
≥ 系统提示词 Token
+ 历史消息 Token
+ 当前输入 Token
+ 预留输出 Token
+ 安全余量

应使用真实业务样本统计长度分布,而不是直接使用模型宣称的最大上下文。

按请求设置 num_ctx

原生 API 可以在 options 中设置 num_ctx:

bash
curl http://localhost:11434/api/generate -d '{
  "model": "<MODEL>",
  "prompt": "请概括上下文长度的配置原则。",
  "stream": false,
  "options": {
    "num_ctx": 4096
  }
}'

预期 HTTP 结果:

text
状态码 200。响应体包含 response、done、prompt_eval_count、eval_count 和耗时字段;具体文本与数值由模型和硬件决定。

4096 是演示值,不是所有任务的推荐固定值。实际值应根据模型支持范围和设备容量确定。

设置服务默认上下文

服务级默认上下文可通过环境变量配置。Linux systemd 片段示例:

ini
[Service]
Environment="OLLAMA_CONTEXT_LENGTH=8192"

这是配置片段,保存到 Ollama 服务 override 后执行:

bash
sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl is-active ollama

预期输出:

text
active

服务默认值会影响未在请求中覆盖上下文的模型。修改后应通过 ollama ps 或 /api/ps 验证实际加载上下文。

先优化输入,再扩大上下文

在提高 num_ctx 前先减少无效 Token:

  • 缩短重复的系统提示词。
  • 对历史对话做窗口裁剪或摘要。
  • RAG 只注入相关文本块,不把整个文档拼入提示词。
  • 移除重复格式说明和无效示例。
  • 限制工具返回的冗长内容。
  • 给输出设置合理上限。
  • 对固定前缀使用可复用的会话或缓存策略。

减少输入既降低预填充耗时,也降低 KV Cache 和后续并发成本。

理解三种“批处理”

本地模型场景中的“批处理”可能指三类不同操作:

  1. 批量嵌入输入:嵌入接口一次提交多个文本,减少 HTTP 往返。
  2. 应用层任务批处理:离线任务按队列顺序处理,控制峰值并发。
  3. 服务并行请求:多个请求同时推理,由 OLLAMA_NUM_PARALLEL 等服务参数控制。

当前 Modelfile 的通用参数参考并不提供一个适用于所有模型的固定“每请求批大小”教学参数。不要随意写入未知 PARAMETER。对话生成优先优化上下文、并行数和请求队列;嵌入任务则适合使用批量输入。

批量嵌入示例

一次提交多个文本:

bash
curl http://localhost:11434/api/embed -d '{
  "model": "<EMBEDDING_MODEL>",
  "input": [
    "Ollama 负责本地模型运行。",
    "上下文长度会影响 KV Cache。",
    "批量嵌入可以减少 HTTP 往返。"
  ]
}'

预期 HTTP 结果:

text
状态码 200。响应体包含 embeddings 数组,数组长度为 3;每个元素是一个浮点向量,具体维度由嵌入模型决定。

批量过大仍会占用更多瞬时内存。应逐步增加批量,并记录接口耗时和峰值资源。

并行数与上下文的乘法效应

服务允许一个模型并行处理多个请求时,每个请求都需要独立上下文。可以用以下近似关系理解缓存压力:

text
总上下文缓存压力
≈ 单请求上下文缓存 × 并行请求数

例如,将上下文从 4K 增加到 16K,再把并行数从 1 增加到 4,缓存压力可能同时被两项放大。优化时不能只单独调整某一个参数。

Flash Attention 与 KV Cache 类型

支持的环境中可以开启 Flash Attention,以降低长上下文的内存增长并改善部分工作负载:

bash
export OLLAMA_FLASH_ATTENTION=1
ollama serve

预期结果:

text
服务启动并读取环境变量;实际是否使用优化后端应以启动日志和基准结果验证。

启用 Flash Attention 后,还可按当前官方支持情况评估 OLLAMA_KV_CACHE_TYPE。缓存量化可能减少内存,但会带来模型相关的质量差异。生产使用前必须进行任务评测。

优化实验矩阵

使用固定模型和测试集,至少比较:

方案 上下文 并行 输入组织 记录指标
A 4K 1 原始输入 基线
B 8K 1 原始输入 上下文成本
C 4K 2 原始输入 并行收益
D 4K 2 裁剪输入 综合优化
E 8K 2 裁剪输入 长文档场景

记录首字延迟、完成时间、每秒输出 Token、峰值显存、错误率和回答质量。只有质量达标的方案才进入性能比较。

本课练习

练习 1:估算业务上下文

任务目标:为真实聊天请求确定合理 num_ctx。

输入或初始条件:准备 30 条具有代表性的系统提示词、历史和用户输入。实现要求:统计 Token 长度并预留输出空间

验收条件:给出 P50、P95 与最终上下文选择依据。

练习 2:比较批量嵌入

任务目标:验证批量输入对嵌入吞吐的影响。输入或初始条件:准备 100 个短文本。

实现要求:比较单条、每批 10 条和每批 25 条的耗时与峰值内存。验收条件:给出稳定批量范围。

练习 3:验证并行乘法效应

任务目标:观察上下文与并行的联合资源成本。输入或初始条件:固定模型,准备两种上下文和两种并行数。实现要求:形成 2×2 实验矩阵

验收条件:记录显存、延迟和失败情况,并选择安全配置。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

优化上下文与批处理参数

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通