自动化测试 / 系统课时

治理偶发失败测试

治理偶发失败测试

偶发失败不是“再跑一次就好”,而是测试在某些时序、状态或环境条件下失去确定性。本篇给出一套可复现、可归因、可验证的治理流程,把定位器、等待、共享状态、环境和数据问题逐一收敛,并用重复运行证明修复有效。

学习目标

  • 用失败证据把 flaky case 归到定位器、等待、共享状态、环境或数据五类根因。
  • 用显式等待、独立状态和可追踪测试数据替代固定休眠与隐式假设。
  • 用连续重复运行验证修复,而不是依赖无条件重跑掩盖问题。

先把失败变成可观察事件

第一次出现偶发失败时,不要先加 sleep() 或重跑。先固定证据:测试名、开始时间、当前 URL、浏览器与驱动版本、异常堆栈、截图和页面 HTML。CI 中至少按用例保存 screenshot.png、page.html 与测试日志;同一用例连续失败时不要覆盖前一次产物。

建议按下面顺序分类:元素根本不存在通常属于定位器或数据问题;元素存在但暂时不可点属于等待问题;单独运行通过、并行运行失败优先查共享状态;只在 CI 失败优先查环境;同一页面偶尔返回不同业务记录则优先查测试数据。

偶发失败测试从采证到归因和复验的治理流程

按五类根因逐项收敛

定位器优先使用稳定的 id、name 或专门的 data-testid,避免依赖动态 class、列表序号或长 XPath。错误写法如 (//button)[3] 会随着 DOM 插入节点而漂移;更稳妥的是 [data-testid='submit-order'],并让前端把该属性视为测试契约。

等待问题要等待“业务状态”,而不是等待固定秒数。可点击按钮用 element_to_be_clickable,异步结果用可见性或文本条件;不要同时大量叠加隐式等待与显式等待,否则超时行为更难判断。共享状态则从账号、下载目录、浏览器 profile、数据库记录和缓存键入手,确保每个 worker 有独立命名空间。

数据问题要让每条记录带唯一标识,例如 run-1042-gw1-8f3a,并在测试结束后按标识清理。环境问题重点比较本地与 CI 的浏览器版本、窗口大小、时区、语言、网络代理、CPU/内存和并发度;若失败只出现在 -n 4,先把并发降到 1 验证是否为资源或共享状态问题。

用显式等待替代时序猜测

下面的完整示例用一个延迟 250 ms 才出现的按钮模拟异步页面,并连续执行 20 次。它不使用固定休眠,而是等待按钮真正可点击;只要本机已安装 Chrome,并安装 Selenium 4.x,即可直接运行。

python
from urllib.parse import quote

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait

HTML = """
<!doctype html>
<title>flaky-demo</title>
<div id="root">loading</div>
<script>
setTimeout(() => {
  document.querySelector('#root').innerHTML =
    '<button data-testid="submit-order">Submit</button>';
}, 250);
</script>
"""

driver = webdriver.Chrome()
passed = 0

try:
    url = "data:text/html;charset=utf-8," + quote(HTML)
    for _ in range(20):
        driver.get(url)
        button = WebDriverWait(driver, 2).until(
            EC.element_to_be_clickable(
                (By.CSS_SELECTOR, "[data-testid='submit-order']")
            )
        )
        button.click()
        passed += 1
finally:
    driver.quit()

print(f"{passed}/20 passed")

预期输出

text
20/20 passed

如果把等待删掉并在 driver.get() 后立即定位按钮,结果就会取决于定时器和机器调度,快机器也不保证稳定。真实项目里应把等待条件绑定到页面最终状态,例如保存成功提示、表格行出现或按钮从 disabled 变为 enabled。

用重复运行证明修复生效

一次通过不能证明 flaky 已消失。修复后至少重复 20 次;对历史失败率约 5% 的用例,建议在 CI 上做 50~100 次专项复验,并覆盖原本最容易失败的浏览器和并发配置。验收时记录“运行次数、失败次数、环境、提交号”,这样后续回归才有基线。

重跑机制只能用于降低流水线偶发噪声,不能作为关闭缺陷的依据。若必须临时 quarantine,应给用例加缺陷编号、负责人和截止日期,并从发布阻断集合中单独隔离;不要把失败测试直接标记为长期 xfail 或无限重试。治理完成的最低标准是:根因可解释、修复可复现、目标环境重复运行无失败,且没有靠延长固定等待掩盖问题。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

治理偶发失败测试

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通