AI 内容创作 / 系统课时
压力测试与项目验收
压力测试与项目验收
本课把数字人项目从“能够演示”推进到“能够交付”,通过并发、长稳、弱网和异常输入测试建立量化报告,再使用自动化验收门禁判断功能、延迟、资源、恢复与安全指标是否达标。
学习目标
- 能够设计覆盖并发、长时间运行、网络波动和异常输入的压力测试矩阵
- 能够区分平均值、分位数、错误率和资源趋势,并设置可执行的验收阈值
- 能够运行验收脚本,根据测试报告自动给出通过或失败结论
先把验收标准量化
验收标准应在测试前确定,并与业务场景、目标设备和成本上限绑定。只写“响应流畅”“资源稳定”无法执行,应改成可采集、可比较、可阻断发布的指标。下表是一组示例基线,项目应在评审后固化自己的 SLA。
| 维度 | 示例指标 | 示例门槛 | 说明 |
|---|---|---|---|
| 功能 | 核心用例通过率 | >= 99% |
创建会话、说话、打断、结束均需覆盖 |
| 延迟 | 首帧延迟 p95 |
<= 1800 ms |
比平均值更能反映尾部体验 |
| 稳定性 | 请求错误率 | <= 1% |
排除明确的客户端非法请求后统计 |
| 资源 | GPU 采样峰值利用率 | <= 90% |
需保留突发流量余量 |
| 长稳 | 内存增长率 | <= 5% |
比较预热后与长稳结束时的稳定区间 |
| 恢复 | 异常后恢复成功率 | >= 99% |
覆盖断线重连、任务取消和服务重启 |
| 安全 | 严重安全问题数 | = 0 |
包括越权、敏感日志和危险输入处理 |
设计四类压力场景
压力测试不能只把并发数调大。多用户并发验证容量和排队规则;长时间运行检查内存泄漏、句柄增长和缓存失控;网络波动检查超时、重试、乱序与重连;异常输入检查边界、鉴权、限流和错误隔离。

| 场景 | 建议执行方式 | 重点观察 |
|---|---|---|
| 多用户并发 | 逐级升压至目标并发,并保留稳定运行阶段 | 排队时间、首帧 p95、超时率、GPU 饱和点 |
| 长时间运行 | 预热后持续运行 4~24 小时 | 内存斜率、句柄数、缓存体积、错误累积 |
| 网络波动 | 注入延迟、抖动、限速和丢包 | 重连耗时、音画连续性、重复任务和迟到结果 |
| 异常输入 | 发送空音频、超长文本、错误编码和过期令牌 | 状态码、错误隔离、限流、日志脱敏 |
测试强度应逐级增加,并设置停止条件,例如错误率持续超过上限、显存接近硬上限或服务无法恢复。停止条件不是测试失败的掩饰,而是防止测试环境被完全拖垮,导致后续证据丢失。
采集并聚合测试证据
每轮测试至少记录运行编号、代码版本、配置版本、测试场景、并发曲线、请求总数、成功数、失败分类、延迟分布和资源时间序列。平均延迟容易被少量快速请求拉低,验收应重点查看 p50、p95 和 p99,并保留最慢请求的 trace_id 供链路回放。
长稳测试应先完成预热,再从稳定区间计算资源增长。若内存在启动阶段快速增长后保持平台,通常属于缓存或模型加载;若稳定运行阶段仍持续单向上升,则需要检查对象引用、队列积压、文件句柄和 GPU 缓冲是否释放。
使用脚本执行验收门禁
下面的 acceptance-report.json 模拟一轮完整测试报告。真实项目可由压测工具、监控平台和安全扫描器生成同结构数据,再交给门禁脚本统一判定。
{
"run_id": "acceptance-20260804-01",
"scenario_coverage": {
"max_concurrent_users": 100,
"soak_hours": 8,
"network_profiles": [
"normal",
"120ms-delay",
"2-percent-loss"
],
"invalid_input_cases": 40
},
"metrics": {
"functional_pass_rate_percent": 100.0,
"first_frame_p95_ms": 980.0,
"error_rate_percent": 0.6,
"gpu_peak_percent": 87.0,
"memory_growth_percent": 3.2,
"recovery_success_rate_percent": 100.0,
"critical_security_findings": 0
}
}将下面代码保存为 acceptance_gate.py。脚本逐项比较实际指标和门槛,只要有一项失败就返回非零退出码,便于接入 CI 或发布流水线。
import json
import math
import sys
# 门槛应来自已批准的 SLA,测试失败后不得临时修改。
CHECKS = [
("functional_pass_rate_percent", ">=", 99.0),
("first_frame_p95_ms", "<=", 1800.0),
("error_rate_percent", "<=", 1.0),
("gpu_peak_percent", "<=", 90.0),
("memory_growth_percent", "<=", 5.0),
("recovery_success_rate_percent", ">=", 99.0),
("critical_security_findings", "<=", 0.0),
]
def passed(actual, operator, threshold):
# 比较逻辑集中在一个函数中,避免不同指标使用不同判定规则。
if operator == ">=":
return actual >= threshold
if operator == "<=":
return actual <= threshold
raise ValueError(f"unsupported operator: {operator}")
# 报告可由压测工具、监控平台和安全扫描器共同生成。
try:
with open("acceptance-report.json", "r", encoding="utf-8") as file:
report = json.load(file)
except (OSError, ValueError) as error:
raise SystemExit(f"无法读取验收报告: {error}") from error
if not isinstance(report, dict) or not isinstance(report.get("scenario_coverage"), dict) or not isinstance(report.get("metrics"), dict):
raise SystemExit("验收报告须包含覆盖对象和指标对象")
coverage = report.get("scenario_coverage", {})
profiles = coverage.get("network_profiles")
coverage_ok = (
isinstance(report.get("run_id"), str) and bool(report["run_id"].strip())
and type(coverage.get("max_concurrent_users")) is int and coverage["max_concurrent_users"] >= 100
and type(coverage.get("soak_hours")) in (int, float) and 8 <= coverage["soak_hours"] < math.inf
and type(coverage.get("invalid_input_cases")) is int and coverage["invalid_input_cases"] >= 40
and isinstance(profiles, list) and all(name in profiles for name in ("normal", "120ms-delay", "2-percent-loss"))
)
metrics = report.get("metrics", {})
failed = int(not coverage_ok)
if not coverage_ok:
print("[FAIL] scenario_coverage")
# 任一关键指标失败都阻断验收,并通过退出码传给流水线。
for name, operator, threshold in CHECKS:
actual = metrics.get(name)
valid = type(actual) is int or (type(actual) is float and math.isfinite(actual))
if name == "critical_security_findings":
valid = valid and type(actual) is int and actual >= 0
elif name == "memory_growth_percent":
valid = valid and actual >= -100
elif name.endswith("_percent"):
valid = valid and 0 <= actual <= 100
else:
valid = valid and actual >= 0
if not valid:
failed += 1
print(f"[FAIL] {name} 缺失或超出取值域")
continue
status = "PASS" if passed(actual, operator, threshold) else "FAIL"
if status == "FAIL":
failed += 1
print(
f"[{status}] {name} actual={actual:.1f} "
f"expected={operator}{threshold:.1f}"
)
result = "PASS" if failed == 0 else "FAIL"
print(f"ACCEPTANCE: {result}")
sys.exit(0 if failed == 0 else 1)运行命令如下。
python acceptance_gate.py预期输出如下。
[PASS] functional_pass_rate_percent actual=100.0 expected=>=99.0
[PASS] first_frame_p95_ms actual=980.0 expected=<=1800.0
[PASS] error_rate_percent actual=0.6 expected=<=1.0
[PASS] gpu_peak_percent actual=87.0 expected=<=90.0
[PASS] memory_growth_percent actual=3.2 expected=<=5.0
[PASS] recovery_success_rate_percent actual=100.0 expected=>=99.0
[PASS] critical_security_findings actual=0.0 expected=<=0.0
ACCEPTANCE: PASS门禁脚本只判定给定报告的覆盖和门槛。真实报告应附原始请求数、错误分类、无首帧样本比例与测量窗口,避免用很小样本或只统计成功请求宣布达标。阈值必须和已批准的验收标准保持一致,不能在测试失败后临时放宽。动态时间、端口、路径或运行编号可在报告中使用 <TIME>、<PORT>、<PATH> 和 <ID> 占位,但指标字段名和单位应固定,避免不同轮次无法比较。
分析失败并形成交付结论
验收失败时,先按测试场景、错误类型和服务阶段拆分数据,再定位首个超过阈值的环节。例如首帧 p95 只在高并发下上升,应检查队列等待、批处理窗口和 GPU 饱和;弱网下出现重复语音,则应检查重试幂等、generation_id 和迟到结果丢弃逻辑。
最终验收包应包含测试计划、环境清单、原始报告、门禁结果、失败项修复记录、已知限制和回滚条件。功能通过但严重安全问题数不为零时仍应阻断发布;单项平均值达标但尾部延迟持续超限,也不能用总体平均数替代。
本课总结
- 压力测试必须覆盖并发、长稳、弱网和异常输入,并在测试前确定停止条件与验收门槛
- 项目验收应使用分位延迟、错误率、资源趋势、恢复率和安全问题数,而不是主观体验或单一平均值
- 自动化门禁应读取统一报告、返回明确退出码,并保留原始证据支持回归和发布决策
下一课预告
下一阶段将把验收报告、运行手册、监控告警、容量基线和回滚方案整理成正式交付资产,使数字人系统能够进入持续发布与生产运维流程。