大模型应用开发 / 系统课时
优化上下文与批处理参数
优化上下文与批处理参数
学习目标
完成本课后,你将能够:
- 根据输入、输出和历史消息估算所需上下文
- 使用
num_ctx或服务级上下文配置控制缓存规模- 区分请求并行、嵌入批量输入与应用层批处理
- 通过对照实验优化首字延迟、吞吐和显存占用
上下文不是越大越好
上下文窗口决定一次请求可容纳的系统消息、历史消息、当前输入和生成结果。设置过小会截断信息,设置过大则会增加 KV Cache 和预填充成本。合理容量应满足:
需要的上下文
≥ 系统提示词 Token
+ 历史消息 Token
+ 当前输入 Token
+ 预留输出 Token
+ 安全余量应使用真实业务样本统计长度分布,而不是直接使用模型宣称的最大上下文。
按请求设置 num_ctx
原生 API 可以在 options 中设置 num_ctx:
curl http://localhost:11434/api/generate -d '{
"model": "<MODEL>",
"prompt": "请概括上下文长度的配置原则。",
"stream": false,
"options": {
"num_ctx": 4096
}
}'预期 HTTP 结果:
状态码 200。响应体包含 response、done、prompt_eval_count、eval_count 和耗时字段;具体文本与数值由模型和硬件决定。4096 是演示值,不是所有任务的推荐固定值。实际值应根据模型支持范围和设备容量确定。
设置服务默认上下文
服务级默认上下文可通过环境变量配置。Linux systemd 片段示例:
[Service]
Environment="OLLAMA_CONTEXT_LENGTH=8192"这是配置片段,保存到 Ollama 服务 override 后执行:
sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl is-active ollama预期输出:
active服务默认值会影响未在请求中覆盖上下文的模型。修改后应通过 ollama ps 或 /api/ps 验证实际加载上下文。
先优化输入,再扩大上下文
在提高 num_ctx 前先减少无效 Token:
- 缩短重复的系统提示词。
- 对历史对话做窗口裁剪或摘要。
- RAG 只注入相关文本块,不把整个文档拼入提示词。
- 移除重复格式说明和无效示例。
- 限制工具返回的冗长内容。
- 给输出设置合理上限。
- 对固定前缀使用可复用的会话或缓存策略。
减少输入既降低预填充耗时,也降低 KV Cache 和后续并发成本。
理解三种“批处理”
本地模型场景中的“批处理”可能指三类不同操作:
- 批量嵌入输入:嵌入接口一次提交多个文本,减少 HTTP 往返。
- 应用层任务批处理:离线任务按队列顺序处理,控制峰值并发。
- 服务并行请求:多个请求同时推理,由
OLLAMA_NUM_PARALLEL等服务参数控制。
当前 Modelfile 的通用参数参考并不提供一个适用于所有模型的固定“每请求批大小”教学参数。不要随意写入未知 PARAMETER。对话生成优先优化上下文、并行数和请求队列;嵌入任务则适合使用批量输入。
批量嵌入示例
一次提交多个文本:
curl http://localhost:11434/api/embed -d '{
"model": "<EMBEDDING_MODEL>",
"input": [
"Ollama 负责本地模型运行。",
"上下文长度会影响 KV Cache。",
"批量嵌入可以减少 HTTP 往返。"
]
}'预期 HTTP 结果:
状态码 200。响应体包含 embeddings 数组,数组长度为 3;每个元素是一个浮点向量,具体维度由嵌入模型决定。批量过大仍会占用更多瞬时内存。应逐步增加批量,并记录接口耗时和峰值资源。
并行数与上下文的乘法效应
服务允许一个模型并行处理多个请求时,每个请求都需要独立上下文。可以用以下近似关系理解缓存压力:
总上下文缓存压力
≈ 单请求上下文缓存 × 并行请求数例如,将上下文从 4K 增加到 16K,再把并行数从 1 增加到 4,缓存压力可能同时被两项放大。优化时不能只单独调整某一个参数。
Flash Attention 与 KV Cache 类型
支持的环境中可以开启 Flash Attention,以降低长上下文的内存增长并改善部分工作负载:
export OLLAMA_FLASH_ATTENTION=1
ollama serve预期结果:
服务启动并读取环境变量;实际是否使用优化后端应以启动日志和基准结果验证。启用 Flash Attention 后,还可按当前官方支持情况评估 OLLAMA_KV_CACHE_TYPE。缓存量化可能减少内存,但会带来模型相关的质量差异。生产使用前必须进行任务评测。
优化实验矩阵
使用固定模型和测试集,至少比较:
| 方案 | 上下文 | 并行 | 输入组织 | 记录指标 |
|---|---|---|---|---|
| A | 4K | 1 | 原始输入 | 基线 |
| B | 8K | 1 | 原始输入 | 上下文成本 |
| C | 4K | 2 | 原始输入 | 并行收益 |
| D | 4K | 2 | 裁剪输入 | 综合优化 |
| E | 8K | 2 | 裁剪输入 | 长文档场景 |
记录首字延迟、完成时间、每秒输出 Token、峰值显存、错误率和回答质量。只有质量达标的方案才进入性能比较。
本课练习
练习 1:估算业务上下文
任务目标:为真实聊天请求确定合理 num_ctx。
输入或初始条件:准备 30 条具有代表性的系统提示词、历史和用户输入。实现要求:统计 Token 长度并预留输出空间
验收条件:给出 P50、P95 与最终上下文选择依据。
练习 2:比较批量嵌入
任务目标:验证批量输入对嵌入吞吐的影响。输入或初始条件:准备 100 个短文本。
实现要求:比较单条、每批 10 条和每批 25 条的耗时与峰值内存。验收条件:给出稳定批量范围。
练习 3:验证并行乘法效应
任务目标:观察上下文与并行的联合资源成本。输入或初始条件:固定模型,准备两种上下文和两种并行数。实现要求:形成 2×2 实验矩阵
验收条件:记录显存、延迟和失败情况,并选择安全配置。