自动化测试 / 系统课时

排查 CI 与并行问题

排查 CI 与并行问题

CI 上的 Selenium 失败如果只靠“重跑一次”很难定位。本篇把问题拆成无头浏览器、文件权限、资源竞争和并发数据冲突四类,并给出最小探针、隔离命名和复现顺序,让本地通过但 CI 失败的问题可以被重复验证。

学习目标

  • 用最小探针区分浏览器启动失败、工作目录不可写和测试本身失败。
  • 通过降低并行度、隔离目录与数据命名空间定位资源竞争和共享状态。
  • 用同一 Runner 镜像和重复运行结果判断修复是否真正生效。

先把失败分成四类

先看第一处稳定出现的证据,不要从最后一行异常反推原因。下面这张表适合作为 CI 失败后的第一轮分诊。

现象 优先检查 常见误判
浏览器启动即失败 Chrome 是否存在、版本是否可启动、无头参数、Driver 会话创建日志 把所有 SessionNotCreatedException 都归因于 Selenium 代码
截图、下载或日志写入失败 当前工作目录、目标目录是否存在、执行用户是否有写权限 直接对整个工作区执行 chmod -R 777
串行稳定、并行才失败 CPU、内存、文件句柄、下载目录、端口与浏览器进程数量 只把显式等待从 10 秒改成 30 秒
失败用例互相“污染” 测试账号、业务记录、Cookie、缓存键和清理逻辑是否共享 把数据冲突当成元素定位不稳定

CI 与并行问题的分诊流程

用最小探针验证 CI 环境

先让探针只做三件事:写临时文件、启动无头 Chrome、打开一个不依赖网络的 data: 页面。这样失败时不会混入业务站点、DNS、账号或测试数据因素。示例适用于 Selenium 4 的 Python 绑定,Runner 需要已经安装 Python、Chrome 和 selenium 包。

python
from pathlib import Path
import sys
import tempfile

import selenium
from selenium import webdriver

with tempfile.TemporaryDirectory() as temp_dir:
    probe = Path(temp_dir) / "write-probe.txt"
    probe.write_text("ok", encoding="utf-8")

    options = webdriver.ChromeOptions()
    options.add_argument("--headless=new")
    options.add_argument("--window-size=1280,800")

    driver = webdriver.Chrome(options=options)
    try:
        driver.get("data:text/html,<title>ci-probe</title><h1>ok</h1>")
        print(f"python={sys.version_info.major}.{sys.version_info.minor}")
        print(f"selenium={selenium.__version__}")
        print(f"write={probe.read_text(encoding='utf-8')}")
        print(f"browser={driver.capabilities.get('browserName')} {driver.capabilities.get('browserVersion')}")
        print(f"title={driver.title}")
    finally:
        driver.quit()

保存为 ci_probe.py 后执行:

bash
python ci_probe.py

预期输出中版本号会随 Runner 实际环境变化:

text
python=<VERSION>
selenium=<VERSION>
write=ok
browser=chrome <VERSION>
title=ci-probe

如果 write=ok 都无法出现,先修工作目录或挂载权限;如果文件可写但 WebDriver 会话创建失败,再查 Chrome 安装、启动参数和 Driver 日志。不要把 --no-sandbox 当默认修复手段;若容器确实因沙箱策略无法启动,应优先让浏览器以非 root 用户运行,并记录为什么需要改变沙箱设置。

用串行对照定位资源竞争

并行失败最有效的对照不是继续加等待,而是保持测试代码不变,只改变 worker 数。假设项目已安装 pytest-xdist,在同一个 Runner 镜像里先跑串行,再恢复目标并行度,同时记录两个进程退出码。

bash
set +e
python -m pytest -q -n 1 tests/e2e
serial_exit=$?
python -m pytest -q -n 4 tests/e2e
parallel_exit=$?
printf 'serial_exit=%s
parallel_exit=%s
' "$serial_exit" "$parallel_exit"

预期输出末尾会出现两个退出码,具体 pytest 统计取决于测试集:

text
serial_exit=<CODE>
parallel_exit=<CODE>

如果 serial_exit=0 而 parallel_exit 非 0,并且多次运行都保持这个差异,把排查重点转向共享目录、共享账号、数据库唯一键、固定端口以及机器资源。可先把 -n 4 降到 -n 2 做二分定位;若失败率随并行度上升,资源或共享状态比单纯页面等待更值得优先检查。

给 worker 独立目录与数据命名空间

文件和业务数据都应带上运行批次与 worker 标识。pytest-xdist 会为 worker 设置 PYTEST_XDIST_WORKER,本地串行运行时可以回退为 main。下面的脚本生成可直接用于测试账号后缀、订单外部编号或下载目录名的隔离键。

python
import os
import uuid

def isolation_key(case_name: str) -> str:
    run_id = os.getenv("CI_RUN_ID", "local")
    worker = os.getenv("PYTEST_XDIST_WORKER", "main")
    suffix = uuid.uuid4().hex[:8]
    return f"{run_id}-{worker}-{case_name}-{suffix}"

if __name__ == "__main__":
    print(isolation_key("create-order"))

预期输出中的最后一段每次都会不同:

text
local-main-create-order-<ID>

在 CI 中可把 CI_RUN_ID 设置为流水线运行号,例如 1042,并把该键写入测试数据的 owner、外部编号或临时目录。清理时按同一运行号删除本次创建的数据,禁止使用“删除所有测试数据”这类会影响其他 worker 的清理逻辑。

修复后用重复运行闭环

偶发问题不能以“一次通过”作为修复证据。对原失败用例先在相同 Runner 镜像上串行重复 10 次,再用生产配置的并行度重复目标测试集;每次都保存 JUnit、pytest 日志和失败截图。若仍有失败,应比较失败是否集中在同一 worker、同一账号或同一机器资源峰值。

可以把验收门槛定成三项:原异常 10 次定向复现不再出现;目标并行度下完整测试集连续通过至少 3 轮;每个失败都能从日志追到 run_id、worker、用例名和对应测试数据。只有这三项同时满足,才把问题从“临时重跑可过”改为“已定位并修复”。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

排查 CI 与并行问题

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通