游戏客户端架构 / 系统课时
如何验证一次优化有效
如何验证一次优化有效
修改 ECS 的 Chunk 大小、System 顺序或调度策略后,单张 Profiler 截图不能证明性能真正提升。本课建立可复现的前后对照,分别衡量平均帧耗时、长尾卡顿和不同实体规模,并把正确性与波动范围纳入验收。
学习目标
- 设计可重复运行、仅改变一个因素的 ECS 基准场景。
- 正确计算并解读平均耗时、P95、P99 与实体规模差异。
- 依据多轮实测和正确性检查判断优化是否值得合入。
先固定基准场景和测量条件
基准场景要覆盖真实负载,而不仅是空场景中更新同一种简单组件。固定实体数、Archetype 分布、活跃比例、生成与销毁频率、输入回放、随机种子和固定步长;记录构建版本、硬件、线程数、画质、垂直同步和电源模式。对照组只改变待验证的优化项。
建议至少测试低、中、高三档实体规模,使小规模的调度损失和大规模的吞吐收益都可见。分别记录整帧耗时与目标 ECS 阶段耗时,避免 GPU 限制、渲染或资源加载遮蔽 CPU 改动。
每次运行先预热,待 JIT、缓存和资源加载趋于稳定后再采样;每档保留足够的逐帧记录(例如 1000 帧以上),重复多轮并交错执行旧版与新版,避免温度、后台负载或运行顺序造成偏差。不要只保留截图中的平均 FPS。
平均值和尾部指标回答不同问题
| 指标 | 解释 | 容易漏掉的情况 |
|---|---|---|
| 平均帧时间 | 代表整体耗时趋势,越低越好 | 少量明显卡顿可能被掩盖 |
| P95 / P99 帧时间 | 分别表示约 95% / 99% 的采样帧不超过此耗时 | 少量长尾尖峰可能恶化 |
| ECS 阶段耗时与等待 | 判断改动是否真落在目标系统 | 总帧时间可能被其他阶段掩盖 |
| 各档实体规模 | 判断收益是否只出现在大负载下 | 小场景可能因调度开销退化 |
计算百分位时,将每轮的帧时间升序排序,按固定口径取相应位置。平均帧时间下降不代表 P99 下降;多线程批处理可能加快多数帧,却在少数帧制造更长的等待。P99 属于分布尾部估计,样本太少时不可靠。
用可运行示例核对统计口径
以下 Python 3 程序生成四组合成的 1000 帧样本,每组有 20 帧尖峰。它只用于验证统计计算,不是对 ECS 优化效果的实测证明。
from math import ceil
from statistics import mean
def percentile(values, ratio):
ordered = sorted(values)
return ordered[ceil(len(ordered) * ratio) - 1]
cases = [
(10_000, "优化前", 4.0, 18.0),
(10_000, "优化后", 3.8, 22.0),
(100_000, "优化前", 12.0, 36.0),
(100_000, "优化后", 8.0, 24.0),
]
print("实体数 版本 平均ms P95ms P99ms")
for entity_count, version, normal, spike in cases:
# 每50帧设置一次尖峰,模拟少量长尾帧
frames = [spike if i % 50 == 0 else normal for i in range(1000)]
print(
f"{entity_count} {version} {mean(frames):.2f} "
f"{percentile(frames, 0.95):.2f} {percentile(frames, 0.99):.2f}"
)预期输出:
实体数 版本 平均ms P95ms P99ms
10000 优化前 4.28 4.00 18.00
10000 优化后 4.16 3.80 22.00
100000 优化前 12.48 12.00 36.00
100000 优化后 8.32 8.00 24.00从这组演示数值可以看到:1 万实体时平均耗时略降,但 P99 从 18 ms 恶化到 22 ms;10 万实体时两者都改善。把程序中的 frames 换成 Profiler 导出的同版本、同实体规模、同一轮运行的逐帧耗时,就能复用计算逻辑。不要将不同规模的数据混在一起,也不要把每轮 P99 简单取平均后冒充合并分布的 P99。
用预设门槛决定保留还是回退
在测试前写清目标,例如目标阶段平均耗时降低、主要场景的 P99 不退化、整帧满足目标帧预算;阈值应由项目体验与基线噪声决定,不能看到结果后才挑有利指标。对每轮记录样本数、平均值、P95、P99、最大值和构建标识,比较多轮的中心水平与波动范围。
还要校验实体总数、组件值、事件次数和模拟最终状态是否一致,并观察分配量与内存占用。若提升小于多轮自然波动,或只在单一实体规模成立,应标为“证据不足”而非“成功”。可靠的 ECS 优化必须同时满足:相同工作量、结果正确、目标指标稳定改善、关键负载没有不可接受的退化。