图形渲染与 Shader / 系统课时
性能问题如何设计成实验
性能问题如何设计成实验
性能优化最容易犯的错,是改完代码跑一遍,觉得“好像更顺了”就宣布有效。可靠的方法是把性能问题改写成可重复实验:固定场景与变量,记录基线,选择指标和采样窗口,再只改变一个因素,最后比较结果是否稳定。
学习目标
- 能把模糊的“变快了”改写成可验证的性能假设
- 会确定基线、指标、采样窗口和控制变量
- 能用重复采样与统计结果判断一次优化是否真的有效
先写出可证伪的假设
一个好的实验问题必须能被数据否定。例如“降低阴影分辨率能减少 GPU 帧时间”就比“调一下阴影看看会不会快”更有效,因为前者明确了变量和目标指标。实验开始前最好写清四项:改什么、看什么、在哪测、什么结果算有效。
例如可以定义:在同一存档、同一路线、同一分辨率下,把阴影从高调到中;采集稳定运行 30 秒后的 60 秒窗口;主要指标看 GPU frame time 的中位数与 P95;若多次重复后两者都下降,才认为优化成立。
固定场景和控制变量
性能实验最怕同时变化多个条件。角色位置、摄像机角度、敌人数量、分辨率、垂直同步、后台任务、驱动设置都可能改变结果。如果一次测试里同时换了画质、分辨率和代码,就无法知道收益来自哪里。
| 项目 | 基线组 | 实验组 |
|---|---|---|
| 场景 | 同一存档与路线 | 保持一致 |
| 分辨率 | 2560×1440 | 保持一致 |
| VSync | 关闭 | 保持一致 |
| 采样窗口 | 60 秒 | 60 秒 |
| 唯一变量 | 阴影=高 | 阴影=中 |
对 GPU 问题,优先记录 GPU 帧时间、P95/P99、GPU 利用率和关键 pass 耗时;对 CPU 问题,则更关注主线程、渲染线程、任务线程和等待时间。平均 FPS 可以保留,但不应成为唯一指标,因为少量长帧很容易被平均值掩盖。
基线必须先稳定
基线不是“第一次跑出来的数字”,而是当前版本在固定条件下的稳定分布。启动后的着色器编译、资源加载、温度变化、后台更新都会污染样本,因此应先预热,再开始正式采样。
同一组至少重复数次,并尽量保持测试顺序一致。若波动很大,不要急着比较优化前后,而要先找出噪声来源。实验误差大于优化收益时,任何结论都不可靠。
用简单统计看结果
下面示例演示如何比较两组已经采集好的帧时间。它使用中位数和 P95,避免只看平均值。真实项目中应把样本替换为 profiler 或日志导出的数据。
import math
from statistics import median
baseline = [15.8, 16.1, 16.0, 17.2, 16.4, 18.0, 16.2, 15.9, 16.5, 17.0]
optimized = [14.6, 14.8, 14.7, 15.2, 14.9, 15.4, 14.8, 14.7, 15.0, 15.1]
def percentile95(values):
ordered = sorted(values)
index = max(0, math.ceil(len(ordered) * 0.95) - 1)
return ordered[index]
for name, values in [("baseline", baseline), ("optimized", optimized)]:
print(
f"{name}: median={median(values):.1f}ms "
f"p95={percentile95(values):.1f}ms"
)预期输出
baseline: median=16.3ms p95=18.0ms
optimized: median=14.8ms p95=15.4ms示例中实验组的中位数和 P95 都下降,说明改善不仅来自少数幸运帧。但样本只有 10 个,只适合演示计算方法;真实判断应使用更长采样窗口和多轮重复结果。
结果不只看“更快”
如果优化让 GPU 帧时间下降,却同时增加 CPU 帧时间、输入延迟、显存占用或画质损失,就不能只记录一个“成功”。实验表应保留副作用指标,并明确哪些变化是可接受的。
一次有效的性能实验,应让别人按照相同条件也能复现。你最终得到的不是“感觉更快”,而是一条可追踪的证据链:固定场景、稳定基线、单一变量、明确指标、足够样本,以及能够重复出现的结果。