多人游戏与网络同步 / 系统课时

怎样判断优化收益是否真实

怎样判断优化收益是否真实

一次压测里指标变好,并不能证明优化有效。要判断收益是否真实,需要把基线与候选版本放在相同负载下重复对照,再检查不同玩家规模下的收益、波动和副作用,避免把缓存、后台负载或随机抖动误判成优化效果。

学习目标

  • 建立基线与候选版本的同条件重复对照
  • 同时检查收益幅度、重复稳定性和副作用
  • 判断优化在目标玩家规模下是否仍然成立

先把比较变成同条件对照

基线与优化后版本必须使用相同硬件、地图、玩家数量、动作脚本、网络条件、预热时间和采样时长。最理想的是成对执行:同一个随机种子先跑基线,再跑候选版本,或交替顺序运行,减少环境随时间变化带来的偏差。

基线与候选版本在相同玩家规模和固定负载下成对运行,再进入收益与回归门禁

真正可比的实验只允许一个主要变量发生变化:待验证的优化本身。若候选版本还同时升级了服务器规格、改了地图对象数量或缩短了测试时长,就无法把收益归因到这次优化。

不看单次最好值

单次最好值最容易制造错觉。至少应重复多轮,并优先看中位数、成对胜率和高分位指标,而不是只看某一轮的最低带宽或最低延迟。接近发布门限时,应增加重复次数,而不是靠挑选样本得出结论。

网络优化常见的主指标和保护指标应分开看:

类型 指标示例 判断方向
主收益 Outbound Bandwidth 明确下降
主收益 Server Tick p95 明确下降或保持
保护指标 End-to-End Latency p95 不得明显回退
正确性 State Mismatch / Lost Critical Event 不得新增错误

如果主指标下降了 10%,但输入延迟恶化了 20%,这不是可接受的净收益。正确性更应作为硬门禁,而不是拿性能收益去抵消。

用重复样本检查收益是否稳定

下面的脚本用三个玩家规模、每个规模五轮成对样本做工程化判定。规则是:带宽中位数至少改善 8%,五轮里至少四轮优于基线,同时延迟中位数回退不超过 5%。这些阈值只是示例,实际应替换为项目发布预算。

python
from statistics import median

cases = {
    50: {
        "baseline_bw": [100, 101, 99, 100, 102],
        "candidate_bw": [90, 91, 89, 90, 92],
        "baseline_latency": [90, 91, 89, 90, 92],
        "candidate_latency": [91, 92, 90, 91, 93],
    },
    100: {
        "baseline_bw": [200, 202, 198, 201, 199],
        "candidate_bw": [176, 178, 175, 177, 176],
        "baseline_latency": [120, 121, 119, 120, 122],
        "candidate_latency": [122, 123, 121, 122, 124],
    },
    150: {
        "baseline_bw": [300, 305, 295, 302, 298],
        "candidate_bw": [279, 281, 278, 304, 280],
        "baseline_latency": [160, 162, 158, 161, 159],
        "candidate_latency": [166, 168, 164, 171, 165],
    },
}

for players, data in cases.items():
    base_bw = median(data["baseline_bw"])
    cand_bw = median(data["candidate_bw"])
    bw_gain = (base_bw - cand_bw) / base_bw * 100
    bw_wins = sum(
        candidate < baseline
        for baseline, candidate in zip(
            data["baseline_bw"], data["candidate_bw"]
        )
    )

    base_latency = median(data["baseline_latency"])
    cand_latency = median(data["candidate_latency"])
    latency_change = (
        (cand_latency - base_latency) / base_latency * 100
    )

    passed = (
        bw_gain >= 8.0
        and bw_wins >= 4
        and latency_change <= 5.0
    )

    print(
        f"players={players} "
        f"bw_gain={bw_gain:.1f}% "
        f"bw_wins={bw_wins}/5 "
        f"latency_change={latency_change:+.1f}% "
        f"{'PASS' if passed else 'FAIL'}"
    )

预期输出

text
players=50 bw_gain=10.0% bw_wins=5/5 latency_change=+1.1% PASS
players=100 bw_gain=12.0% bw_wins=5/5 latency_change=+1.7% PASS
players=150 bw_gain=6.7% bw_wins=4/5 latency_change=+3.8% FAIL

这个结果说明优化在 50 和 100 玩家时稳定有效,但到了 150 玩家,带宽收益只剩 6.7%,已经低于设定门限。即使候选版本仍比基线略好,也不能宣称它在目标规模上达到了预期收益。

同时看相对收益和绝对收益

百分比适合跨规模比较,但发布决策还要看绝对值。例如带宽下降 10% 是否真的释放了足够容量,Server Tick p95 是否跨过了性能红线,以及优化后是否把瓶颈转移到了 CPU、包率或延迟。

同样的 10% 在不同规模下含义不同。若玩家数量增长后收益持续收窄,说明优化可能只削减了固定开销,而没有解决随对象数、相关集或发送频率增长的主成本。

把目标规模作为最终门禁

判断“收益真实”至少要同时满足四件事:同条件对照、重复样本多数一致、主指标达到预设收益、保护指标和正确性不回退。只在小规模测试中有效,而在计划承载的玩家规模下失效,就不能作为完整优化成果发布。

最终应保留每个玩家规模下的原始样本、聚合值和判定规则。这样下一次修改后可以用完全相同的方法复测,也能明确区分“指标偶然变好”和“优化在目标负载下持续产生收益”。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

怎样判断优化收益是否真实

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通