CI/CD / 系统课时
治理不稳定测试
治理不稳定测试
不稳定测试最危险的地方不是偶发红灯,而是让团队逐渐失去对流水线结果的信任。本课用“确认现象—分类证据—稳定复现—修复根因—持续验证”的路径治理 flaky test,并说明为什么简单重试只能用于诊断,不能代替修复。
学习目标
- 区分真实缺陷、环境故障与不稳定测试,避免把所有偶发失败都归为 flaky。
- 能从共享状态、时序依赖和环境差异三个方向收集证据并稳定复现。
- 为修复后的测试建立持续验证和临时隔离规则,避免重试掩盖问题。
先确认是否真是不稳定测试
同一提交、同一依赖版本、同一测试输入,在没有代码变化的情况下出现“有时通过、有时失败”,才值得进入 flaky test 治理。首先固定 commit SHA、测试命令、运行镜像和关键环境变量,再对失败用例单独重复执行。若失败总是与某个业务输入或代码路径一致,它更可能是真实缺陷;若整批任务同时出现网络、磁盘或容器异常,应先排查执行环境。
不要一看到偶发失败就把重试次数从 1 改成 3。重试会改变失败概率,却不会消除共享状态、竞争条件或脏环境;更糟糕的是,最终绿色状态会让错误失去可见性。
用证据分类根因
治理时按证据而不是猜测分类。共享状态问题常见于全局变量、静态单例、固定测试账号、复用数据库记录或未清理临时文件;时序问题常见于异步任务、并发竞争、硬编码 sleep 和依赖执行顺序;环境问题则常见于时区、Locale、随机种子、CPU 抢占、外部服务和未锁定依赖版本。

当失败日志里只有断言文本而没有上下文时,先补齐最小证据:测试名、随机种子、执行顺序、线程或进程标识、关键资源 ID、外部依赖地址和测试开始结束时间。只有能比较“通过一次”和“失败一次”的差异,后续修复才有依据。
复现并修复共享状态
下面用 Python unittest 演示最典型的顺序依赖。将以下测试定义保存为 flake_demo.py;它由 unittest runner 调用,不单独作为程序入口执行。两个测试共享同一份模块级状态,因此执行顺序会改变结果。
import unittest
shared_state = {"feature_enabled": False}
class FeatureTests(unittest.TestCase):
def test_enable_feature(self):
shared_state["feature_enabled"] = True
self.assertTrue(shared_state["feature_enabled"])
def test_default_state(self):
# 这个断言偷偷依赖“此前没有测试修改过共享状态”。
self.assertFalse(shared_state["feature_enabled"])先按“默认状态 → 修改状态”的顺序运行:
python -m unittest -q flake_demo.FeatureTests.test_default_state flake_demo.FeatureTests.test_enable_feature预期输出:
----------------------------------------------------------------------
Ran 2 tests in <TIME>
OK再交换顺序:
python -m unittest -q flake_demo.FeatureTests.test_enable_feature flake_demo.FeatureTests.test_default_state预期结果:
Ran 2 tests in <TIME>
FAILED (failures=1)<TIME> 会因运行环境不同而变化,失败详情中的文件路径和行号也会变化。真正的修复不是重试,而是在每个测试前恢复独立状态。片段示例:将以下 setUp 方法加入前述 FeatureTests 类。
def setUp(self):
# 每个测试都从相同前提开始,消除执行顺序依赖。
shared_state["feature_enabled"] = False修复后应再次用不同顺序运行,并在 CI 中连续执行多轮,确认失败不再随顺序出现。
把治理规则接入流水线
对确认的 flaky test 建议保留三类状态:正常、隔离、已修复观察中。隔离应是临时止损措施,要求关联负责人、原因、进入时间和到期时间;隔离用例仍要在独立任务中运行并记录失败率,不能从测试体系里“消失”。
流水线门禁应以首次执行结果为准记录 flaky 指标。允许诊断性重试时,同时保存首轮失败和重试结果;若“首轮失败、重试通过”,应标记为不稳定而不是直接当成健康。修复后用固定提交连续多轮、不同顺序和干净环境验证,只有失败率回到零且根因证据闭环,才解除隔离。
治理目标不是把流水线变绿,而是让同一输入得到可预测结果。测试一旦可重复、可定位、可验证,失败信号才重新具备阻断发布的价值。