游戏客户端架构 / 系统课时

如何验证一次优化有效

如何验证一次优化有效

修改 ECS 的 Chunk 大小、System 顺序或调度策略后,单张 Profiler 截图不能证明性能真正提升。本课建立可复现的前后对照,分别衡量平均帧耗时、长尾卡顿和不同实体规模,并把正确性与波动范围纳入验收。

学习目标

  • 设计可重复运行、仅改变一个因素的 ECS 基准场景。
  • 正确计算并解读平均耗时、P95、P99 与实体规模差异。
  • 依据多轮实测和正确性检查判断优化是否值得合入。

先固定基准场景和测量条件

基准场景要覆盖真实负载,而不仅是空场景中更新同一种简单组件。固定实体数、Archetype 分布、活跃比例、生成与销毁频率、输入回放、随机种子和固定步长;记录构建版本、硬件、线程数、画质、垂直同步和电源模式。对照组只改变待验证的优化项。

建议至少测试低、中、高三档实体规模,使小规模的调度损失和大规模的吞吐收益都可见。分别记录整帧耗时与目标 ECS 阶段耗时,避免 GPU 限制、渲染或资源加载遮蔽 CPU 改动。

每次运行先预热,待 JIT、缓存和资源加载趋于稳定后再采样;每档保留足够的逐帧记录(例如 1000 帧以上),重复多轮并交错执行旧版与新版,避免温度、后台负载或运行顺序造成偏差。不要只保留截图中的平均 FPS。

平均值和尾部指标回答不同问题

指标 解释 容易漏掉的情况
平均帧时间 代表整体耗时趋势,越低越好 少量明显卡顿可能被掩盖
P95 / P99 帧时间 分别表示约 95% / 99% 的采样帧不超过此耗时 少量长尾尖峰可能恶化
ECS 阶段耗时与等待 判断改动是否真落在目标系统 总帧时间可能被其他阶段掩盖
各档实体规模 判断收益是否只出现在大负载下 小场景可能因调度开销退化

计算百分位时,将每轮的帧时间升序排序,按固定口径取相应位置。平均帧时间下降不代表 P99 下降;多线程批处理可能加快多数帧,却在少数帧制造更长的等待。P99 属于分布尾部估计,样本太少时不可靠。

用可运行示例核对统计口径

以下 Python 3 程序生成四组合成的 1000 帧样本,每组有 20 帧尖峰。它只用于验证统计计算,不是对 ECS 优化效果的实测证明。

python
from math import ceil
from statistics import mean

def percentile(values, ratio):
    ordered = sorted(values)
    return ordered[ceil(len(ordered) * ratio) - 1]

cases = [
    (10_000, "优化前", 4.0, 18.0),
    (10_000, "优化后", 3.8, 22.0),
    (100_000, "优化前", 12.0, 36.0),
    (100_000, "优化后", 8.0, 24.0),
]

print("实体数 版本 平均ms P95ms P99ms")
for entity_count, version, normal, spike in cases:
    # 每50帧设置一次尖峰,模拟少量长尾帧
    frames = [spike if i % 50 == 0 else normal for i in range(1000)]
    print(
        f"{entity_count} {version} {mean(frames):.2f} "
        f"{percentile(frames, 0.95):.2f} {percentile(frames, 0.99):.2f}"
    )

预期输出:

text
实体数 版本 平均ms P95ms P99ms
10000 优化前 4.28 4.00 18.00
10000 优化后 4.16 3.80 22.00
100000 优化前 12.48 12.00 36.00
100000 优化后 8.32 8.00 24.00

从这组演示数值可以看到:1 万实体时平均耗时略降,但 P99 从 18 ms 恶化到 22 ms;10 万实体时两者都改善。把程序中的 frames 换成 Profiler 导出的同版本、同实体规模、同一轮运行的逐帧耗时,就能复用计算逻辑。不要将不同规模的数据混在一起,也不要把每轮 P99 简单取平均后冒充合并分布的 P99。

用预设门槛决定保留还是回退

在测试前写清目标,例如目标阶段平均耗时降低、主要场景的 P99 不退化、整帧满足目标帧预算;阈值应由项目体验与基线噪声决定,不能看到结果后才挑有利指标。对每轮记录样本数、平均值、P95、P99、最大值和构建标识,比较多轮的中心水平与波动范围。

还要校验实体总数、组件值、事件次数和模拟最终状态是否一致,并观察分配量与内存占用。若提升小于多轮自然波动,或只在单一实体规模成立,应标为“证据不足”而非“成功”。可靠的 ECS 优化必须同时满足:相同工作量、结果正确、目标指标稳定改善、关键负载没有不可接受的退化。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

如何验证一次优化有效

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通