自动化测试 / 系统课时

稳定视觉测试结果

稳定视觉测试结果

本课解决视觉测试经常因为环境差异失败的问题。你将学习控制字体、动画、时间和动态内容,并通过一个可重复运行的 Playwright 截图测试建立基线,验证如何减少无意义的像素差异。

学习目标

  • 识别视觉测试中的常见波动来源。
  • 掌握固定时间、视口和动画状态的方法。
  • 建立截图基线并验证测试结果的稳定性。

视觉测试为什么会误报

截图比较的是像素差异,而页面中的字体渲染、动画状态、随机数据和时间显示都会改变像素结果。即使页面功能和布局没有发生变化,这些因素也可能让截图断言失败。

例如,同一张订单卡片在两次运行中分别显示不同日期,或者加载动画停留在不同帧。截图比较会检测到差异,但这些差异不一定代表真实的界面回归。

视觉测试中动态因素导致的误报与稳定截图对比

排查误报时,应先确认视口、浏览器、字体和数据是否一致,再判断差异是不是产品界面的真实变化。不要直接通过提高截图差异阈值掩盖问题,否则可能漏掉按钮偏移、文字截断等实际缺陷。

固定动态因素

Playwright 的 toHaveScreenshot() 用于比较当前截图和已保存的基线。测试运行时应尽量让页面处于相同状态,再执行截图断言。

下面创建一个不依赖外部网站的订单卡片,通过 page.setContent() 构造页面,固定日期和视口,并禁用 CSS 动画。

将代码保存为 tests/visual.spec.ts:

ts
import { test, expect } from '@playwright/test';

test('stable screenshot', async ({ page }) => {
  await page.setViewportSize({ width: 800, height: 600 });

  // 固定页面读取的系统时间,避免日期变化
  await page.clock.setFixedTime(new Date('2025-01-01T08:00:00Z'));

  await page.setContent(`
    <style>
      body { margin: 0; font: 16px Arial, sans-serif; }
      .card { width: 320px; padding: 24px; background: #eef4f8; }
      .status { animation: pulse 1s infinite; }
      @keyframes pulse { 50% { opacity: 0.3; } }
    </style>
    <section class="card">
      <h1>订单概览</h1>
      <p class="status">已更新</p>
      <time id="today"></time>
    </section>
    <script>
      document.querySelector('#today').textContent =
        new Date().toISOString().slice(0, 10);
    </script>
  `);

  // 显式禁用动画和过渡,消除不同截图帧的差异
  await page.addStyleTag({
    content: '* { animation: none !important; transition: none !important; }'
  });

  await expect(page.locator('.card')).toHaveScreenshot('overview.png');
});

预期结果:页面中的日期始终显示为 2025-01-01,状态文字不会因动画帧发生变化。在已经建立基线且运行环境一致的情况下,重复执行截图断言应通过。

这个示例分别处理了三个波动来源:setViewportSize() 固定布局宽高,setFixedTime() 固定页面读取的时间,addStyleTag() 排除动画和过渡的视觉影响。

Playwright 的截图断言本身也支持通过 animations 选项禁用 CSS 动画,默认值就是 disabled。示例显式注入样式是为了展示控制页面状态的方法,而不是要求每个截图测试都重复注入相同样式。

建立和核对截图基线

运行前需要在项目中安装 @playwright/test 及测试配置所需的浏览器。首次运行时应先生成截图基线,然后在不更新基线的情况下重新执行测试。

在项目根目录执行:

bash
npx playwright test tests/visual.spec.ts --update-snapshots
npx playwright test tests/visual.spec.ts

预期输出(单浏览器项目的关键结果,省略其他日志):

text
1 passed (<TIME>)
1 passed (<TIME>)

其中 <TIME> 是实际运行耗时。第一次命令创建或更新 overview.png 对应的截图基线,第二次命令将当前截图与基线比较。具体基线路径会随测试文件位置、浏览器项目和操作系统而变化。

如果项目配置了多个浏览器或多个测试项目,实际通过数量可能超过一条,各项目通常会维护对应的截图基线。

当截图不一致时,Playwright 会报告断言失败,并通常在测试结果目录中保存实际截图、期望截图及差异图。检查这些产物时,先确认变化是否来自字体、日期或动画,再判断是否需要修改代码或更新基线。

稳定环境建议

视觉测试应固定浏览器版本、操作系统环境和字体文件。尤其是跨 Windows、macOS 和 Linux 执行时,即使 CSS 使用相同的字体名称,也可能因为字体文件、抗锯齿和渲染机制不同而产生像素差异。

实际项目可以使用固定版本的 Playwright 浏览器和统一的 CI 容器环境。对于需要精确比较的页面,优先使用随项目分发的字体文件,并等待字体与关键资源加载完成后再截图。

对于时间、随机数和接口返回数据,也应该使用可控测试数据。可以按以下方式处理:

  • 时间变化:使用 page.clock 固定页面读取的日期和时间。
  • 接口动态数据:通过 page.route() 模拟稳定的响应,避免订单号、金额等字段随真实服务变化。
  • 随机内容:使用固定测试数据,避免每次生成不同的列表或标识符。
  • 无关动态区域:必要时使用截图断言的 mask 选项遮罩,但不要遮住真正需要验证的内容。
  • 布局与渲染:固定视口、设备缩放比例、浏览器版本和字体资源,减少不同运行环境的偏差。

对于包含异步加载的真实业务页面,不要依赖固定等待几秒后截图。应等待能够证明页面已经准备好的条件,例如目标组件可见、加载指示器消失,或者对应数据已经渲染完成。固定延时无法保证慢速环境中页面一定加载完毕。

截图失败时如何判断

如果已经固定时间与动画,但视觉测试仍然间歇失败,可以按以下顺序检查:

  1. 检查测试环境:对比本地与 CI 的浏览器版本、操作系统、视口尺寸及字体。
  2. 查看差异图:确认变化集中在日期、文字边缘、图片区域,还是组件的位置和尺寸。
  3. 核对页面状态:检查是否存在尚未完成的接口请求、字体加载或异步渲染。
  4. 复现并修复:先让动态内容可控,再重复执行同一截图测试。
  5. 确认基线:只有当界面确实发生了符合预期的变化时,才更新并提交新的截图基线。

判断标准可以直接落在差异位置上:如果变化只出现在日期文字或无关的动态区域,应优先固定数据;如果按钮发生偏移、内容溢出或组件缺失,则应继续检查布局和业务实现。

经过环境统一、动态因素固定和基线核对,视觉测试才能把运行环境产生的像素波动与真正需要修复的界面变化区分开。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

稳定视觉测试结果

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通