游戏客户端架构 / 系统课时

什么证据才能证明修好了

什么证据才能证明修好了

故障修复的目标不是“这次没再看到问题”,而是用可重复、可比较的证据证明问题在目标版本中消失,并且没有引入明显副作用。本节给出一套能落地到游戏客户端排障流程里的验收方法。

学习目标

  • 区分“暂时未复现”和“已经修复”的证据强度
  • 为日志、复现次数和性能指标设置可判定的验收条件
  • 用同一套检查方式比较修复前后结果

修好不是“现象消失”

一次启动正常、一次战斗没闪退,只能说明“这次没有触发”。真正有说服力的证据应同时满足三个条件:复现条件没有变、检查口径没有变、运行的确是包含修复的构建。

最有价值的证据通常来自四个维度:

证据 修复前 修复后应看到什么
固定步骤复现 能稳定或高概率触发 连续多轮不再触发
目标日志特征 出现同一错误签名 签名消失或频次降到阈值内
性能指标 卡顿、耗时或内存异常 回到基线且没有新的明显回退
构建信息 问题版本 明确命中包含修复的版本

不要只看“有没有崩”。例如一个空指针被绕开后,可能变成持续重试和帧耗时上升;故障表象消失,但根因并没有真正解决。

建立可判定的验收条件

验收条件必须在回归前写清楚,否则很容易在结果不理想时临时降低标准。常用做法是把“修好”改写成可以回答是或否的条件。

例如某次资源热更新故障可以约定:同一设备、同一账号、同一资源包下连续执行 20 次更新;目标错误签名为 0 次;更新耗时的 P95 不高于 2.0 秒;客户端构建号必须等于修复版本。

样本量没有统一数字。高概率必现的问题可以少跑几轮,低概率问题则要扩大次数、延长时长或增加设备覆盖。关键是修复前后采用相同口径,避免拿“10 次失败 3 次”和“只试 1 次没失败”做比较。

用同一套规则检查前后数据

下面的示例把复现结果、错误次数、性能指标和版本号放进同一个验收函数。真实项目可以把这些值替换成自动化测试或日志平台导出的数据。

python
def verify_fix(report, fixed_version):
    checks = {
        "repro_failures": report["repro_failures"] == 0,
        "target_errors": report["target_errors"] == 0,
        "p95_seconds": report["p95_seconds"] <= 2.0,
        "version": report["version"] == fixed_version,
    }
    return checks, all(checks.values())

def main():
    before = {
        "repro_failures": 6,
        "target_errors": 6,
        "p95_seconds": 2.4,
        "version": "1.8.3",
    }
    after = {
        "repro_failures": 0,
        "target_errors": 0,
        "p95_seconds": 1.7,
        "version": "1.8.4",
    }

    for name, report in (("before", before), ("after", after)):
        checks, passed = verify_fix(report, fixed_version="1.8.4")
        print(name, checks, "PASS" if passed else "FAIL")

if __name__ == "__main__":
    main()

预期输出

text
before {'repro_failures': False, 'target_errors': False, 'p95_seconds': False, 'version': False} FAIL
after {'repro_failures': True, 'target_errors': True, 'p95_seconds': True, 'version': True} PASS

这个脚本本身不是完整测试平台,但它体现了验收的关键原则:每个条件都能单独失败,最终结论由一组明确条件共同决定,而不是由观察者主观判断。

防止“没复现”造成假结论

低概率、时序相关和设备相关问题最容易出现假阴性。回归时应尽量固定网络条件、资源版本、账号状态和操作步骤,并保留随机种子、关键时间戳或请求 ID 等可追踪信息。

如果问题依赖长时间运行,就把“验证时长”也写入条件;如果只在特定 GPU、系统版本或内存压力下出现,就把这些环境变量纳入覆盖范围。无法完全复现时,至少应证明原错误签名明显下降,同时确认没有出现新的错误模式。

当复现结果、目标日志、性能指标和构建版本能够互相印证时,才有资格把状态从“已修改”推进到“已验证”。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

什么证据才能证明修好了

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通