大模型应用开发 / 系统课时
制定容量评估方案
制定容量评估方案
学习目标
完成本课后,你将能够:
- 定义模型服务容量测试的场景、指标和通过标准
- 区分冷启动、稳态、并发、长上下文和故障恢复测试
- 根据吞吐、延迟、质量和资源数据确定安全容量
- 形成可用于设备选型、扩容和上线评审的测试报告
容量评估要解决什么问题
容量评估不是寻找某个设备的最高瞬时 Token 速度,而是回答:
- 指定模型和量化在目标设备上能否稳定运行
- 业务上下文和输出长度下的响应时间
- 可同时服务多少请求
- 高峰进入队列后等待多久
- 资源是否保留安全余量
- 运行数小时后是否出现泄漏、降频或错误
- 模型切换和服务重启需要多久恢复
- 输出质量是否在性能优化后仍达标
测试结论必须绑定模型、标签、量化、上下文、参数、Ollama 版本、驱动和硬件,不能只写“服务器支持 10 并发”。
定义工作负载模型
从真实请求抽样,划分至少三类:
| 场景 | 输入长度 | 输出长度 | 典型任务 |
|---|---|---|---|
| 短请求 | 较短 | 较短 | 分类、改写、简单问答 |
| 中请求 | 中等 | 中等 | 对话、摘要、代码解释 |
| 长请求 | 较长 | 中等或较长 | RAG、文档分析、长对话 |
每类记录 P50、P95 输入 Token 和输出 Token。压测请求应按真实比例混合,不能全部使用“你好”作为负载。
必须包含的测试阶段
- 空闲基线:记录服务未加载模型时的资源。
- 冷启动:模型未驻留时提交首个请求。
- 热模型单请求:测量稳定生成速度。
- 并发阶梯:逐步提高并发。
- 长上下文:验证 KV Cache 和预填充。
- 混合模型:验证切换、驻留和卸载。
- 持续运行:观察数小时稳定性。
- 过载:确认队列上限和失败方式。
- 恢复测试:重启服务、容器或主机后恢复。
- 质量回归:验证参数优化没有破坏结果。
每一阶段都应有开始条件、持续时间、采样频率和停止条件。
关键指标和通过标准
| 指标 | 说明 | 示例通过方式 |
|---|---|---|
| 首字延迟 | 用户等待首个内容块 | P95 小于业务目标 |
| 总耗时 | 请求完整完成时间 | P95 小于客户端超时 |
| 输出 Token/s | 稳态生成速度 | 不低于交互最低值 |
| 成功率 | 2xx 请求占比 | 达到服务目标 |
| 过载拒绝 | 429/503 等受控失败 | 不发生无限排队 |
| 峰值显存 | 权重、缓存和缓冲 | 保留安全余量 |
| 可用内存 | 系统剩余资源 | 不持续进入 Swap |
| 温度与频率 | 是否降频 | 长测无持续性能衰减 |
| 质量得分 | 固定测试集 | 不低于上线阈值 |
阈值必须由业务定义。教程不能替项目规定统一的延迟或并发数字。
生成基础压测数据
可以复用上一课的结构化指标脚本,并用并发测试脚本生成 JSON。建议每条结果写为一行 JSON,便于后续统计:
{
"timestamp": "<TIMESTAMP>",
"scenario": "medium-chat",
"model": "<MODEL>",
"concurrency": 2,
"status": 200,
"first_token_ms": 0,
"total_ms": 0,
"prompt_tokens": 0,
"output_tokens": 0,
"output_tokens_per_second": 0.0,
"memory_used_bytes": 0,
"vram_used_bytes": 0
}所有 0 均为动态值占位。采集程序必须写入真实测量结果。
如何确定安全容量
逐级提高并发,直到首次出现以下任一情况:
- P95 延迟超过目标
- 错误率明显上升
- 显存或内存余量低于安全线
- 持续进入 Swap
- 输出速度显著下降
- 过载队列长期不清空
- GPU 温度导致持续降频
- 服务或驱动重启
将前一个稳定级作为候选容量,再乘以团队定义的安全系数。例如保留 20%~40% 峰值余量,具体比例由业务波动和恢复能力决定。
结果不能脱离质量
降低温度、上下文、模型规模或量化精度可能提升速度,但可能损害任务质量。容量报告必须同时包含:
- 固定问题集通过率
- 结构化输出成功率
- 引用正确率
- 代码或工具调用正确率
- 拒答准确性
- 人工评分
- 版本间差异
性能配置只有在质量阈值内才有效。
容量报告模板
测试对象
├── Ollama 版本
├── 模型、标签与量化
├── 操作系统、驱动与硬件
├── 上下文、采样和驻留配置
└── 应用、代理和网络配置
工作负载
├── 请求类型与比例
├── 输入/输出 Token 分布
├── 并发阶梯
└── 测试持续时间
结果
├── 延迟分位数
├── Token 速度
├── 成功率与错误分类
├── CPU、内存、GPU、显存
├── 模型加载与队列
└── 质量评测
结论
├── 推荐并发
├── 队列上限
├── 超时与限流
├── 安全余量
├── 扩容触发条件
└── 已知风险扩容决策
当单机不再满足容量时,可以按成本从低到高处理:
- 减少无效上下文和输出。
- 使用更合适的量化或模型。
- 调整并行与队列。
- 优化 GPU 后端和缓存。
- 将嵌入与生成分离。
- 对模型进行按任务路由。
- 增加单机内存或 GPU。
- 部署多个 Ollama 实例并在应用层负载均衡。
- 对高峰任务使用异步队列。
- 对允许外发的任务采用混合云方案。
扩容前应确认瓶颈是计算、显存、内存、I/O 还是排队,避免只增加硬件而保留无效请求模式。
本课练习
练习 1:设计容量测试矩阵
任务目标:覆盖短、中、长请求和并发阶梯。输入或初始条件:已有真实请求样本和目标模型。实现要求:定义场景比例、并发、持续时间和停止条件。验收条件:测试能够复现业务负载而非只测短提示词。
练习 2:确定上线容量
任务目标:从压测结果选择安全并发。输入或初始条件:已获得各并发级的 P95、错误率和资源数据。实现要求:选择前一个稳定级并设置安全余量。验收条件:结论同时满足延迟、资源和质量要求。
练习 3:形成扩容建议
任务目标:把瓶颈数据转化为工程动作。输入或初始条件:假设长上下文场景显存不足,短请求仍有计算余量。
实现要求:提出上下文优化、模型路由、实例拆分和硬件升级顺序。验收条件:每项动作对应具体瓶颈证据。