原生移动开发 / 系统课时

用 Macrobenchmark 做回归

用 Macrobenchmark 做回归

本课把启动与核心交互变成可重复执行的性能基准,并用固定设备、固定场景持续比较版本差异。完成后,你能得到结构化 benchmark 数据,并据此发现性能回退。([Android Developers][1])

学习目标

  • 能为启动或核心 UI 操作建立 Macrobenchmark
  • 能控制测试版本、启动模式与迭代次数,减少无意义噪声
  • 能运行基准并读取 JSON 结果,为后续 CI 比较准备数据

先固定“测什么”和“在哪测”

Macrobenchmark 适合测完整用户路径,例如冷启动、页面切换、滚动和动画,而不是某个函数内部的微小代码段。真正做回归时,场景本身必须稳定,否则版本差异会被测试步骤变化掩盖。([Android Developers][1])

把基准测试模块与业务代码分开,并让被测 App 尽量接近生产版本。目标 App 需要可用于性能分析的 profileable 配置;官方也建议测试包保持非调试状态,并尽量贴近 release 配置。([Android Developers][1])

Macrobenchmark 从固定场景到回归结果的测量链路

建立最小启动基准

下面示例假设工程已经有名为 macrobenchmark 的 com.android.test 模块,并以 com.example.app 作为被测包名。当前 AndroidX Benchmark 稳定版为 1.5.0,可在 benchmark 模块中加入 benchmark-macro-junit4。([Android Developers][2])

kotlin
dependencies {
    androidTestImplementation("androidx.benchmark:benchmark-macro-junit4:1.5.0")
}

预期结果

text
Gradle successfully resolves androidx.benchmark:benchmark-macro-junit4:1.5.0

测试类使用 MacrobenchmarkRule 和 measureRepeated。启动场景至少明确被测包、指标和迭代次数;启动行为可以通过 UI Automator 驱动。([Android Developers][1])

kotlin
package com.example.macrobenchmark

import androidx.benchmark.macro.MacrobenchmarkRule
import androidx.benchmark.macro.StartupTimingMetric
import androidx.test.ext.junit4.AndroidJUnit4
import androidx.test.filters.LargeTest
import androidx.test.uiautomator.uiAutomator
import org.junit.Rule
import org.junit.Test
import org.junit.runner.RunWith

@LargeTest
@RunWith(AndroidJUnit4::class)
class StartupBenchmark {
    @get:Rule
    val benchmarkRule = MacrobenchmarkRule()

    @Test
    fun coldStartup() = benchmarkRule.measureRepeated(
        packageName = "com.example.app",
        metrics = listOf(StartupTimingMetric()),
        iterations = 10,
    ) {
        // 每次迭代只保留稳定且可重复的启动动作。
        uiAutomator {
            startApp("com.example.app")
        }
    }
}

预期结果

text
Android benchmark test completes successfully.
Results include startup timing metrics for the repeated iterations.

这里不要只盯着一次最小值。Macrobenchmark 会提供多次运行的统计信息,并生成 JSON 与 trace,适合后续持续比较。([Android Developers][3])

把“核心操作”变成固定场景

回归的关键不只是写出测试,而是把用户动作固定下来。例如首页首屏稳定后,再执行一次确定长度的列表滚动。场景越稳定,版本间的中位数变化越有解释价值。

指标按问题选择:启动问题优先看 StartupTimingMetric,渲染流畅度可看 FrameTimingMetric,需要关联业务代码区段时可使用 TraceSectionMetric。([Android Developers][1])

运行并保存可比较的数据

本地可以直接运行 benchmark 模块的 connectedCheck。持续回归时应优先使用真实 Android 设备;官方明确不建议把模拟器结果当作真实用户性能的主要依据,因为结果会明显受宿主机硬件和系统影响。([Android Developers][3])

bash
./gradlew :macrobenchmark:connectedCheck

预期输出

text
BUILD SUCCESSFUL

Gradle 运行 benchmark 后,报告会被复制到测试输出目录;直接使用 ADB 执行时,则可以从设备上的 benchmark JSON 文件中取回结果。([Android Developers][3])

怎样判断一次回归可信

一次测量变慢,不等于一定回归。官方把 benchmark 结果视为带噪声的时间测量,而不是普通测试那样简单的 pass/fail;持续比较时应观察同一设备、同一测试场景下的趋势。([Android Developers][3])

因此,工程上更适合先建立稳定基线,再比较后续版本的中位数、分位数或业务约定阈值。对于启动,还应区分首次显示相关指标与真正可交互的完整显示时间;两者反映的是不同阶段。([Android Developers][4])

当结果明显退化时,先回到对应 trace 找具体路径,再决定修复代码;不要只为了让一个数字恢复而改变测试场景。这样建立的 Macrobenchmark 才能真正承担“版本升级后性能是否回退”的回归职责。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 Macrobenchmark 做回归

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通