AI 内容创作 / 系统课时

压力测试与项目验收

压力测试与项目验收

本课把数字人项目从“能够演示”推进到“能够交付”,通过并发、长稳、弱网和异常输入测试建立量化报告,再使用自动化验收门禁判断功能、延迟、资源、恢复与安全指标是否达标。

学习目标

  • 能够设计覆盖并发、长时间运行、网络波动和异常输入的压力测试矩阵
  • 能够区分平均值、分位数、错误率和资源趋势,并设置可执行的验收阈值
  • 能够运行验收脚本,根据测试报告自动给出通过或失败结论

先把验收标准量化

验收标准应在测试前确定,并与业务场景、目标设备和成本上限绑定。只写“响应流畅”“资源稳定”无法执行,应改成可采集、可比较、可阻断发布的指标。下表是一组示例基线,项目应在评审后固化自己的 SLA。

维度 示例指标 示例门槛 说明
功能 核心用例通过率 >= 99% 创建会话、说话、打断、结束均需覆盖
延迟 首帧延迟 p95 <= 1800 ms 比平均值更能反映尾部体验
稳定性 请求错误率 <= 1% 排除明确的客户端非法请求后统计
资源 GPU 采样峰值利用率 <= 90% 需保留突发流量余量
长稳 内存增长率 <= 5% 比较预热后与长稳结束时的稳定区间
恢复 异常后恢复成功率 >= 99% 覆盖断线重连、任务取消和服务重启
安全 严重安全问题数 = 0 包括越权、敏感日志和危险输入处理

设计四类压力场景

压力测试不能只把并发数调大。多用户并发验证容量和排队规则;长时间运行检查内存泄漏、句柄增长和缓存失控;网络波动检查超时、重试、乱序与重连;异常输入检查边界、鉴权、限流和错误隔离。

数字人压力测试与项目验收矩阵

场景 建议执行方式 重点观察
多用户并发 逐级升压至目标并发,并保留稳定运行阶段 排队时间、首帧 p95、超时率、GPU 饱和点
长时间运行 预热后持续运行 4~24 小时 内存斜率、句柄数、缓存体积、错误累积
网络波动 注入延迟、抖动、限速和丢包 重连耗时、音画连续性、重复任务和迟到结果
异常输入 发送空音频、超长文本、错误编码和过期令牌 状态码、错误隔离、限流、日志脱敏

测试强度应逐级增加,并设置停止条件,例如错误率持续超过上限、显存接近硬上限或服务无法恢复。停止条件不是测试失败的掩饰,而是防止测试环境被完全拖垮,导致后续证据丢失。

采集并聚合测试证据

每轮测试至少记录运行编号、代码版本、配置版本、测试场景、并发曲线、请求总数、成功数、失败分类、延迟分布和资源时间序列。平均延迟容易被少量快速请求拉低,验收应重点查看 p50、p95 和 p99,并保留最慢请求的 trace_id 供链路回放。

长稳测试应先完成预热,再从稳定区间计算资源增长。若内存在启动阶段快速增长后保持平台,通常属于缓存或模型加载;若稳定运行阶段仍持续单向上升,则需要检查对象引用、队列积压、文件句柄和 GPU 缓冲是否释放。

使用脚本执行验收门禁

下面的 acceptance-report.json 模拟一轮完整测试报告。真实项目可由压测工具、监控平台和安全扫描器生成同结构数据,再交给门禁脚本统一判定。

json
{
  "run_id": "acceptance-20260804-01",
  "scenario_coverage": {
    "max_concurrent_users": 100,
    "soak_hours": 8,
    "network_profiles": [
      "normal",
      "120ms-delay",
      "2-percent-loss"
    ],
    "invalid_input_cases": 40
  },
  "metrics": {
    "functional_pass_rate_percent": 100.0,
    "first_frame_p95_ms": 980.0,
    "error_rate_percent": 0.6,
    "gpu_peak_percent": 87.0,
    "memory_growth_percent": 3.2,
    "recovery_success_rate_percent": 100.0,
    "critical_security_findings": 0
  }
}

将下面代码保存为 acceptance_gate.py。脚本逐项比较实际指标和门槛,只要有一项失败就返回非零退出码,便于接入 CI 或发布流水线。

python
import json
import math
import sys

# 门槛应来自已批准的 SLA,测试失败后不得临时修改。
CHECKS = [
    ("functional_pass_rate_percent", ">=", 99.0),
    ("first_frame_p95_ms", "<=", 1800.0),
    ("error_rate_percent", "<=", 1.0),
    ("gpu_peak_percent", "<=", 90.0),
    ("memory_growth_percent", "<=", 5.0),
    ("recovery_success_rate_percent", ">=", 99.0),
    ("critical_security_findings", "<=", 0.0),
]

def passed(actual, operator, threshold):
    # 比较逻辑集中在一个函数中,避免不同指标使用不同判定规则。
    if operator == ">=":
        return actual >= threshold
    if operator == "<=":
        return actual <= threshold
    raise ValueError(f"unsupported operator: {operator}")

# 报告可由压测工具、监控平台和安全扫描器共同生成。
try:
    with open("acceptance-report.json", "r", encoding="utf-8") as file:
        report = json.load(file)
except (OSError, ValueError) as error:
    raise SystemExit(f"无法读取验收报告: {error}") from error
if not isinstance(report, dict) or not isinstance(report.get("scenario_coverage"), dict) or not isinstance(report.get("metrics"), dict):
    raise SystemExit("验收报告须包含覆盖对象和指标对象")

coverage = report.get("scenario_coverage", {})
profiles = coverage.get("network_profiles")
coverage_ok = (
    isinstance(report.get("run_id"), str) and bool(report["run_id"].strip())
    and type(coverage.get("max_concurrent_users")) is int and coverage["max_concurrent_users"] >= 100
    and type(coverage.get("soak_hours")) in (int, float) and 8 <= coverage["soak_hours"] < math.inf
    and type(coverage.get("invalid_input_cases")) is int and coverage["invalid_input_cases"] >= 40
    and isinstance(profiles, list) and all(name in profiles for name in ("normal", "120ms-delay", "2-percent-loss"))
)
metrics = report.get("metrics", {})
failed = int(not coverage_ok)
if not coverage_ok:
    print("[FAIL] scenario_coverage")

# 任一关键指标失败都阻断验收,并通过退出码传给流水线。
for name, operator, threshold in CHECKS:
    actual = metrics.get(name)
    valid = type(actual) is int or (type(actual) is float and math.isfinite(actual))
    if name == "critical_security_findings":
        valid = valid and type(actual) is int and actual >= 0
    elif name == "memory_growth_percent":
        valid = valid and actual >= -100
    elif name.endswith("_percent"):
        valid = valid and 0 <= actual <= 100
    else:
        valid = valid and actual >= 0
    if not valid:
        failed += 1
        print(f"[FAIL] {name} 缺失或超出取值域")
        continue
    status = "PASS" if passed(actual, operator, threshold) else "FAIL"
    if status == "FAIL":
        failed += 1
    print(
        f"[{status}] {name} actual={actual:.1f} "
        f"expected={operator}{threshold:.1f}"
    )

result = "PASS" if failed == 0 else "FAIL"
print(f"ACCEPTANCE: {result}")
sys.exit(0 if failed == 0 else 1)

运行命令如下。

bash
python acceptance_gate.py

预期输出如下。

text
[PASS] functional_pass_rate_percent actual=100.0 expected=>=99.0
[PASS] first_frame_p95_ms actual=980.0 expected=<=1800.0
[PASS] error_rate_percent actual=0.6 expected=<=1.0
[PASS] gpu_peak_percent actual=87.0 expected=<=90.0
[PASS] memory_growth_percent actual=3.2 expected=<=5.0
[PASS] recovery_success_rate_percent actual=100.0 expected=>=99.0
[PASS] critical_security_findings actual=0.0 expected=<=0.0
ACCEPTANCE: PASS

门禁脚本只判定给定报告的覆盖和门槛。真实报告应附原始请求数、错误分类、无首帧样本比例与测量窗口,避免用很小样本或只统计成功请求宣布达标。阈值必须和已批准的验收标准保持一致,不能在测试失败后临时放宽。动态时间、端口、路径或运行编号可在报告中使用 <TIME>、<PORT>、<PATH> 和 <ID> 占位,但指标字段名和单位应固定,避免不同轮次无法比较。

分析失败并形成交付结论

验收失败时,先按测试场景、错误类型和服务阶段拆分数据,再定位首个超过阈值的环节。例如首帧 p95 只在高并发下上升,应检查队列等待、批处理窗口和 GPU 饱和;弱网下出现重复语音,则应检查重试幂等、generation_id 和迟到结果丢弃逻辑。

最终验收包应包含测试计划、环境清单、原始报告、门禁结果、失败项修复记录、已知限制和回滚条件。功能通过但严重安全问题数不为零时仍应阻断发布;单项平均值达标但尾部延迟持续超限,也不能用总体平均数替代。

本课总结

  • 压力测试必须覆盖并发、长稳、弱网和异常输入,并在测试前确定停止条件与验收门槛
  • 项目验收应使用分位延迟、错误率、资源趋势、恢复率和安全问题数,而不是主观体验或单一平均值
  • 自动化门禁应读取统一报告、返回明确退出码,并保留原始证据支持回归和发布决策

下一课预告

下一阶段将把验收报告、运行手册、监控告警、容量基线和回滚方案整理成正式交付资产,使数字人系统能够进入持续发布与生产运维流程。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

压力测试与项目验收

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通