大模型应用开发 / 系统课时

制定容量评估方案

制定容量评估方案

学习目标

完成本课后,你将能够:

  • 定义模型服务容量测试的场景、指标和通过标准
  • 区分冷启动、稳态、并发、长上下文和故障恢复测试
  • 根据吞吐、延迟、质量和资源数据确定安全容量
  • 形成可用于设备选型、扩容和上线评审的测试报告

容量评估要解决什么问题

容量评估不是寻找某个设备的最高瞬时 Token 速度,而是回答:

  • 指定模型和量化在目标设备上能否稳定运行
  • 业务上下文和输出长度下的响应时间
  • 可同时服务多少请求
  • 高峰进入队列后等待多久
  • 资源是否保留安全余量
  • 运行数小时后是否出现泄漏、降频或错误
  • 模型切换和服务重启需要多久恢复
  • 输出质量是否在性能优化后仍达标

测试结论必须绑定模型、标签、量化、上下文、参数、Ollama 版本、驱动和硬件,不能只写“服务器支持 10 并发”。

定义工作负载模型

从真实请求抽样,划分至少三类:

场景 输入长度 输出长度 典型任务
短请求 较短 较短 分类、改写、简单问答
中请求 中等 中等 对话、摘要、代码解释
长请求 较长 中等或较长 RAG、文档分析、长对话

每类记录 P50、P95 输入 Token 和输出 Token。压测请求应按真实比例混合,不能全部使用“你好”作为负载。

必须包含的测试阶段

  1. 空闲基线:记录服务未加载模型时的资源。
  2. 冷启动:模型未驻留时提交首个请求。
  3. 热模型单请求:测量稳定生成速度。
  4. 并发阶梯:逐步提高并发。
  5. 长上下文:验证 KV Cache 和预填充。
  6. 混合模型:验证切换、驻留和卸载。
  7. 持续运行:观察数小时稳定性。
  8. 过载:确认队列上限和失败方式。
  9. 恢复测试:重启服务、容器或主机后恢复。
  10. 质量回归:验证参数优化没有破坏结果。

每一阶段都应有开始条件、持续时间、采样频率和停止条件。

关键指标和通过标准

指标 说明 示例通过方式
首字延迟 用户等待首个内容块 P95 小于业务目标
总耗时 请求完整完成时间 P95 小于客户端超时
输出 Token/s 稳态生成速度 不低于交互最低值
成功率 2xx 请求占比 达到服务目标
过载拒绝 429/503 等受控失败 不发生无限排队
峰值显存 权重、缓存和缓冲 保留安全余量
可用内存 系统剩余资源 不持续进入 Swap
温度与频率 是否降频 长测无持续性能衰减
质量得分 固定测试集 不低于上线阈值

阈值必须由业务定义。教程不能替项目规定统一的延迟或并发数字。

生成基础压测数据

可以复用上一课的结构化指标脚本,并用并发测试脚本生成 JSON。建议每条结果写为一行 JSON,便于后续统计:

json
{
  "timestamp": "<TIMESTAMP>",
  "scenario": "medium-chat",
  "model": "<MODEL>",
  "concurrency": 2,
  "status": 200,
  "first_token_ms": 0,
  "total_ms": 0,
  "prompt_tokens": 0,
  "output_tokens": 0,
  "output_tokens_per_second": 0.0,
  "memory_used_bytes": 0,
  "vram_used_bytes": 0
}

所有 0 均为动态值占位。采集程序必须写入真实测量结果。

如何确定安全容量

逐级提高并发,直到首次出现以下任一情况:

  • P95 延迟超过目标
  • 错误率明显上升
  • 显存或内存余量低于安全线
  • 持续进入 Swap
  • 输出速度显著下降
  • 过载队列长期不清空
  • GPU 温度导致持续降频
  • 服务或驱动重启

将前一个稳定级作为候选容量,再乘以团队定义的安全系数。例如保留 20%~40% 峰值余量,具体比例由业务波动和恢复能力决定。

结果不能脱离质量

降低温度、上下文、模型规模或量化精度可能提升速度,但可能损害任务质量。容量报告必须同时包含:

  • 固定问题集通过率
  • 结构化输出成功率
  • 引用正确率
  • 代码或工具调用正确率
  • 拒答准确性
  • 人工评分
  • 版本间差异

性能配置只有在质量阈值内才有效。

容量报告模板

text
测试对象
├── Ollama 版本
├── 模型、标签与量化
├── 操作系统、驱动与硬件
├── 上下文、采样和驻留配置
└── 应用、代理和网络配置

工作负载
├── 请求类型与比例
├── 输入/输出 Token 分布
├── 并发阶梯
└── 测试持续时间

结果
├── 延迟分位数
├── Token 速度
├── 成功率与错误分类
├── CPU、内存、GPU、显存
├── 模型加载与队列
└── 质量评测

结论
├── 推荐并发
├── 队列上限
├── 超时与限流
├── 安全余量
├── 扩容触发条件
└── 已知风险

扩容决策

当单机不再满足容量时,可以按成本从低到高处理:

  1. 减少无效上下文和输出。
  2. 使用更合适的量化或模型。
  3. 调整并行与队列。
  4. 优化 GPU 后端和缓存。
  5. 将嵌入与生成分离。
  6. 对模型进行按任务路由。
  7. 增加单机内存或 GPU。
  8. 部署多个 Ollama 实例并在应用层负载均衡。
  9. 对高峰任务使用异步队列。
  10. 对允许外发的任务采用混合云方案。

扩容前应确认瓶颈是计算、显存、内存、I/O 还是排队,避免只增加硬件而保留无效请求模式。

本课练习

练习 1:设计容量测试矩阵

任务目标:覆盖短、中、长请求和并发阶梯。输入或初始条件:已有真实请求样本和目标模型。实现要求:定义场景比例、并发、持续时间和停止条件。验收条件:测试能够复现业务负载而非只测短提示词。

练习 2:确定上线容量

任务目标:从压测结果选择安全并发。输入或初始条件:已获得各并发级的 P95、错误率和资源数据。实现要求:选择前一个稳定级并设置安全余量。验收条件:结论同时满足延迟、资源和质量要求。

练习 3:形成扩容建议

任务目标:把瓶颈数据转化为工程动作。输入或初始条件:假设长上下文场景显存不足,短请求仍有计算余量。

实现要求:提出上下文优化、模型路由、实例拆分和硬件升级顺序。验收条件:每项动作对应具体瓶颈证据。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

制定容量评估方案

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通