Rust / 系统课时

排查一个 CI 中的偶发失败

排查一个 CI 中的偶发失败

CI 偶发失败最怕“本地重跑一次就绿了”。真正需要建立的是一条可验证的定位链:先固定失败现象,再区分环境、并发和代码缺陷,最后用针对性复现与回归测试证明修复不会破坏正常路径。

学习目标

  • 能从一次偶发失败中提取最有价值的日志证据
  • 能区分环境问题、并发问题和确定性代码缺陷
  • 能用针对性复现和完整测试验证修复

先把一次失败变成可比较的证据

CI 日志里最重要的不是最后一句 failed,而是第一次出现异常的位置。先记录测试名称、失败断言、涉及资源以及运行上下文,再比较成功构建和失败构建是否存在差异。

对于 Rust 项目,可以先直接运行测试,并在需要时提高输出信息:

bash
cargo test -- --nocapture

预期输出

text
running 1 test
test tests::example ... ok

test result: ok. 1 passed; 0 failed; 0 ignored

这里的输出只是说明测试命令成功;具体 CI 故障仍要以失败运行中的实际日志为准。不要为了“多看点日志”盲目增加所有调试开关,先围绕失败用例收集最小证据。

先排除环境差异

同一提交在本地稳定、CI 偶发失败时,先比较运行环境,而不是立即修改业务代码。重点检查 Rust 工具链、操作系统、环境变量、时区、文件系统路径、依赖缓存以及可用 CPU 和内存。

可以先让 CI 输出编译器版本,形成可比较基线:

bash
rustc --version
cargo --version

预期输出

text
rustc <VERSION>
cargo <VERSION>

<VERSION> 会随 CI 镜像和工具链更新而变化。真正有价值的是比较失败运行与成功运行是否使用了不同版本或不同执行环境。

再检查并发与时间依赖

偶发失败经常来自共享资源竞争,例如多个测试同时修改同一个临时文件、共享全局状态或依赖固定端口。另一个常见信号是时间依赖:测试假设任务一定在某个时间窗口内完成,CI 负载波动后就出现超时。

排查时可以暂时把可疑测试单独运行;如果单独运行稳定、并发运行才失败,就继续检查共享状态和测试隔离,而不是立刻增加重试次数。重试只能降低失败可见度,不能证明根因已经消失。

用最小复现区分三类根因

可以把判断过程压缩成三步:先复现同一测试,再改变环境变量,最后改变并发条件。若换到与 CI 相近的环境后稳定重现,优先检查环境差异;若只有并发运行时失败,优先检查共享状态;若单独运行也能稳定触发,则更接近确定性的代码缺陷。

修复完成后,应让原失败命令先通过,再运行完整测试集:

bash
cargo test

预期结果

text
running <N> tests
...
test result: ok. <N> passed; 0 failed; 0 ignored

<N> 取决于项目当前测试数量。完整验证的重点是失败用例恢复通过,同时没有引入其他回归。

不要把重试当成修复

CI 对偶发失败可以设计合理的重试策略,但重试应该是故障管理手段,而不是测试设计的替代品。若问题来自竞态、资源泄漏或非确定性时序,增加重试只会让问题更难观察。

最终要留下三样东西:能描述失败条件的日志证据、能触发同类问题的最小复现,以及能防止回归的自动化测试。这样下一次 CI 再出现相同信号时,排查就从“猜原因”变成“验证假设”。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

排查一个 CI 中的偶发失败

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通