游戏客户端架构 / 系统课时
什么证据才能证明修好了
什么证据才能证明修好了
故障修复的目标不是“这次没再看到问题”,而是用可重复、可比较的证据证明问题在目标版本中消失,并且没有引入明显副作用。本节给出一套能落地到游戏客户端排障流程里的验收方法。
学习目标
- 区分“暂时未复现”和“已经修复”的证据强度
- 为日志、复现次数和性能指标设置可判定的验收条件
- 用同一套检查方式比较修复前后结果
修好不是“现象消失”
一次启动正常、一次战斗没闪退,只能说明“这次没有触发”。真正有说服力的证据应同时满足三个条件:复现条件没有变、检查口径没有变、运行的确是包含修复的构建。
最有价值的证据通常来自四个维度:
| 证据 | 修复前 | 修复后应看到什么 |
|---|---|---|
| 固定步骤复现 | 能稳定或高概率触发 | 连续多轮不再触发 |
| 目标日志特征 | 出现同一错误签名 | 签名消失或频次降到阈值内 |
| 性能指标 | 卡顿、耗时或内存异常 | 回到基线且没有新的明显回退 |
| 构建信息 | 问题版本 | 明确命中包含修复的版本 |
不要只看“有没有崩”。例如一个空指针被绕开后,可能变成持续重试和帧耗时上升;故障表象消失,但根因并没有真正解决。
建立可判定的验收条件
验收条件必须在回归前写清楚,否则很容易在结果不理想时临时降低标准。常用做法是把“修好”改写成可以回答是或否的条件。
例如某次资源热更新故障可以约定:同一设备、同一账号、同一资源包下连续执行 20 次更新;目标错误签名为 0 次;更新耗时的 P95 不高于 2.0 秒;客户端构建号必须等于修复版本。
样本量没有统一数字。高概率必现的问题可以少跑几轮,低概率问题则要扩大次数、延长时长或增加设备覆盖。关键是修复前后采用相同口径,避免拿“10 次失败 3 次”和“只试 1 次没失败”做比较。
用同一套规则检查前后数据
下面的示例把复现结果、错误次数、性能指标和版本号放进同一个验收函数。真实项目可以把这些值替换成自动化测试或日志平台导出的数据。
def verify_fix(report, fixed_version):
checks = {
"repro_failures": report["repro_failures"] == 0,
"target_errors": report["target_errors"] == 0,
"p95_seconds": report["p95_seconds"] <= 2.0,
"version": report["version"] == fixed_version,
}
return checks, all(checks.values())
def main():
before = {
"repro_failures": 6,
"target_errors": 6,
"p95_seconds": 2.4,
"version": "1.8.3",
}
after = {
"repro_failures": 0,
"target_errors": 0,
"p95_seconds": 1.7,
"version": "1.8.4",
}
for name, report in (("before", before), ("after", after)):
checks, passed = verify_fix(report, fixed_version="1.8.4")
print(name, checks, "PASS" if passed else "FAIL")
if __name__ == "__main__":
main()预期输出
before {'repro_failures': False, 'target_errors': False, 'p95_seconds': False, 'version': False} FAIL
after {'repro_failures': True, 'target_errors': True, 'p95_seconds': True, 'version': True} PASS这个脚本本身不是完整测试平台,但它体现了验收的关键原则:每个条件都能单独失败,最终结论由一组明确条件共同决定,而不是由观察者主观判断。
防止“没复现”造成假结论
低概率、时序相关和设备相关问题最容易出现假阴性。回归时应尽量固定网络条件、资源版本、账号状态和操作步骤,并保留随机种子、关键时间戳或请求 ID 等可追踪信息。
如果问题依赖长时间运行,就把“验证时长”也写入条件;如果只在特定 GPU、系统版本或内存压力下出现,就把这些环境变量纳入覆盖范围。无法完全复现时,至少应证明原错误签名明显下降,同时确认没有出现新的错误模式。
当复现结果、目标日志、性能指标和构建版本能够互相印证时,才有资格把状态从“已修改”推进到“已验证”。