图形渲染与 Shader / 系统课时

建立性能回归表

建立性能回归表

性能优化不能只保存一张 profiler 截图或一句“感觉变快了”。真正可复查的基线需要把场景、版本、硬件配置和关键帧时间放到同一套记录中。本节将建立一个最小性能回归表,并用阈值比较当前版本与基线,快速识别值得进一步分析的退化。

学习目标

  • 设计能够跨版本比较的性能回归记录字段
  • 区分测试条件字段与性能结果字段
  • 根据预先设定的阈值自动标记性能回退

一行记录必须能还原一次测试

性能数据失去测试上下文后几乎没有比较价值。除了版本号,还应记录场景、分辨率、画质配置、硬件或测试机标识。若驱动版本、操作系统版本会明显影响项目,也应纳入记录,使几周后的开发者仍能判断两组数据是否可以直接比较。

结果字段不宜只保存 FPS。帧时间更适合观察 CPU、GPU 性能变化,因为它直接描述生成一帧用了多少毫秒。至少可以保存平均帧时间和一个尾部指标,例如 P95 帧时间;需要关注明显卡顿时,再加入 1% Low 或超预算帧数量。

version scene preset resolution avgFrameMs p95FrameMs
1.8.0 city-night High 2560x1440 16.50 20.00
1.8.1 city-night High 2560x1440 17.20 22.40

表中两行只有版本不同,其余测试条件保持一致,因此可以直接计算变化比例。如果第二行改成 4K、Ultra 或另一张地图,即使数字更差,也不能直接判定为代码回归。

为场景建立稳定主键

实际项目通常有多个测试场景,例如 CPU 密集型战斗、GPU 密集型夜景和资源流送场景。场景名称应长期稳定,避免今天写 city、明天写 night-city,导致自动脚本无法找到对应基线。可以把场景、画质预设、分辨率和测试机组合成一个逻辑测试项,再按版本追加结果。

版本字段也应指向可追溯构建,例如正式版本号或提交哈希。若同一版本可能有不同编译选项,还需要记录构建类型。性能表的目的不是保存所有 profiler 细节,而是先回答“哪个场景从哪个版本开始发生了可重复的变化”。

用预设阈值检测回退

下面的 Python 示例比较同一测试项的基线和当前结果。规则预先规定:平均帧时间增加超过 3%,或者 P95 帧时间增加超过 5%,就标记为 FAIL。阈值应根据项目本身的测量噪声和性能预算确定,而不是看到结果之后临时修改。

python
baseline = {
    "scene": "city-night",
    "avgFrameMs": 16.50,
    "p95FrameMs": 20.00,
}

current = {
    "scene": "city-night",
    "avgFrameMs": 17.20,
    "p95FrameMs": 22.40,
}

avg_change = (current["avgFrameMs"] / baseline["avgFrameMs"] - 1) * 100
p95_change = (current["p95FrameMs"] / baseline["p95FrameMs"] - 1) * 100
failed = avg_change > 3.0 or p95_change > 5.0

print(f"scene={current['scene']}")
print(f"avg: {baseline['avgFrameMs']:.2f} -> {current['avgFrameMs']:.2f} ms ({avg_change:+.1f}%)")
print(f"p95: {baseline['p95FrameMs']:.2f} -> {current['p95FrameMs']:.2f} ms ({p95_change:+.1f}%)")
print("result=FAIL" if failed else "result=PASS")

预期输出:

text
scene=city-night
avg: 16.50 -> 17.20 ms (+4.2%)
p95: 20.00 -> 22.40 ms (+12.0%)
result=FAIL

这个结果只表示“超过回归阈值”,并不自动说明根因在 CPU、GPU 或某个具体提交。下一步应该回到相同场景复测,确认退化能够稳定重现,再结合 CPU/GPU profiler、提交范围和功能变化定位原因。

记录回归而不是覆盖旧数据

性能表应保留历史版本,而不是每次测试后覆盖“当前值”。保留时间序列后,可以判断某项指标是一次偶发波动、逐版本缓慢恶化,还是在某次提交后突然跳变。修复完成后也应新增一行结果,这样才能验证性能是否真正恢复到原有区间。

对自动化测试而言,可以把每次构建生成的 CSV、JSON 或数据库记录汇总到同一数据源,再由脚本比较最近稳定基线。无论最终存储形式是什么,核心原则都相同:测试条件必须可比,指标定义必须稳定,阈值必须提前确定,原始历史不能被覆盖。

一张好的性能回归表并不追求字段越多越好,而是保证任何异常都能回答三个问题:发生在哪个场景、从哪个版本开始、偏离基线多少。做到这三点,后续 CPU 与 GPU 的详细分析才有明确目标,而不是在大量 profiler 数据里盲目寻找差异。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

建立性能回归表

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通