自动化测试 / 系统课时

配置并行与分片执行

配置并行与分片执行

大型 Playwright 测试集的提速有两个层次:用多个 worker 提高单台机器的并发度,再用 shard 把测试拆到多个 CI 作业或机器上。本节会配置两者,并明确什么时候并发越高反而越慢或更不稳定。

学习目标

  • 配置 workers 与 fullyParallel 控制单机并行执行
  • 使用 --shard=x/y 将测试集拆分到多个独立执行单元
  • 区分 worker 与 shard 的职责,并根据资源和测试隔离程度选择并行度

先理解两层并行

worker 是 Playwright Test 启动的独立工作进程。一台机器可以同时运行多个 worker,每个进程拥有独立的测试运行环境,因此不能依赖另一个 worker 中的全局变量或内存状态。

shard 则发生在更外层。--shard=1/4 表示当前执行单元只负责整个测试集的第 1 个分片,另外三个分片通常由其他 CI Job 或机器同时运行。每个 shard 内部仍然可以启动多个 worker。

Worker 与测试分片的两层并行关系

控制单机 worker 数量

可以在 playwright.config.ts 中集中配置并发度。下面让测试允许完全并行,本地使用 Playwright 默认 worker 数量,而 CI 固定使用 4 个 worker:

ts
import { defineConfig } from '@playwright/test';

export default defineConfig({
  // 允许不同测试尽可能并行,为后续分片提供更细的调度粒度。
  fullyParallel: true,
  // CI 资源通常固定,因此显式限制并发进程数量。
  workers: process.env.CI ? 4 : undefined,
});

也可以临时在命令行覆盖配置,用于比较不同并发度的运行时间:

bash
npx playwright test --workers=4

预期输出

text
Running <N> tests using 4 workers
...
<N> passed (<TIME>)

<N> 和 <TIME> 取决于实际测试数量与运行环境。关键验证点是首行显示 using 4 workers,说明本次命令行参数已经生效。

将测试集拆成多个 shard

当单台 CI Runner 已经接近 CPU、内存或浏览器实例上限时,继续增加 worker 的收益会明显下降。此时可以把同一个测试集拆成多个 shard,并让 CI 平台并行执行它们。

例如将测试拆成 4 份时,每个执行单元运行一条不同的命令:

bash
npx playwright test --shard=1/4
npx playwright test --shard=2/4
npx playwright test --shard=3/4
npx playwright test --shard=4/4

预期结果是四次执行分别承担测试集的一部分,而不是每个 shard 都重复运行完整测试集。每条命令都需要在独立 Job 或独立环境中执行;如果按顺序在同一台机器上执行四条命令,并不会获得跨机器并行带来的提速。

启用 fullyParallel: true 后,Playwright 可以以更细的测试粒度进行分片,通常更容易均衡各 shard 的负载。未启用时主要按测试文件分配,因此一个特别耗时的大文件可能让某个 shard 明显慢于其他 shard。

判断应该加 worker 还是 shard

两种手段解决的问题不同。worker 适合机器仍有空闲 CPU 和内存的情况,调整成本低;shard 适合测试规模已经超过单机合理容量,且 CI 平台能够同时提供多个 Runner 的情况。

如果提高 worker 后失败率上升,先用 --workers=1 验证测试是否存在共享状态问题;如果单机已经稳定但耗时仍长,再考虑增加 shard。最终应以整条流水线的稳定运行时间为依据,而不是单纯追求最大的进程数量。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

配置并行与分片执行

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通