原生移动开发 / 系统课时
把性能检查接入 CI
把性能检查接入 CI
本课把 Macrobenchmark 从本地一次性验证接入持续集成:构建被测 APK、安装到真实设备、执行 benchmark、收集 JSON,并在固定阈值下决定是否提示或阻断流水线。重点不是把性能测试当普通单元测试,而是建立可解释的回归门禁。([Android Developers][3])
学习目标
- 能拆分 CI 中 benchmark 的构建、安装、执行和结果采集阶段
- 能从 benchmark JSON 中提取核心指标并做阈值判断
- 能设计适合性能数据噪声的失败策略,避免误报淹没真正回归
CI 里的 benchmark 为什么不同
普通测试通常回答“通过还是失败”,性能基准输出的是带噪声的时间测量。官方建议在 CI 中关注长期趋势,并尽量使用真实设备或真实设备服务;模拟器结果受宿主机影响,不适合直接代表用户体验。([Android Developers][3])
因此,CI 不应只写一个“超过某数值就失败”的粗糙规则。至少要固定设备型号、Android 版本、测试场景、编译状态和迭代策略,再对结构化结果进行比较。

先把 CI 阶段拆开
Macrobenchmark 在 CI 中通常不是一个 Gradle 命令解决全部问题。官方建议分别构建 target APK 与 test APK,然后在设备上安装并运行 instrumentation。([Android Developers][3])
./gradlew :app:assembleRelease :macrobenchmark:assembleRelease预期结果
BUILD SUCCESSFUL完成构建后,CI 环境需要把目标 APK 与 benchmark APK 安装到测试设备,再启动 Android instrumentation。Macrobenchmark 使用常规的 AndroidJUnitRunner 作为 instrumentation runner。([Android Developers][3])
adb install app/build/outputs/apk/release/app-release.apk
adb install macrobenchmark/build/outputs/apk/release/macrobenchmark-release.apk
adb shell am instrument -w com.example.macrobenchmark/androidx.test.runner.AndroidJUnitRunner预期结果
Instrumentation process exits with code 0 after the benchmark suite completes.
Benchmark JSON and trace artifacts are produced for collection.实际 APK 路径会随 variant、模块命名和构建配置变化,CI 脚本应通过已知构建产物路径传递文件,而不是把路径硬编码成固定机器目录。Benchmark 报告使用 JSON 保存结构化测量信息,trace 可继续用于定位具体性能问题。([Android Developers][3])
只比较真正关心的指标
一个 CI 门禁通常只需要少数业务关键指标,例如冷启动时间或特定操作的帧性能。先把规则写成“指标名称 + 基线值 + 允许回退比例”,比把所有字段都纳入失败条件更容易维护。
下面是一个片段示例:假设 CI 已把 benchmark JSON 路径传入环境变量,并且基线值来自同型号设备上的稳定版本。脚本的职责只是读取最小必要字段并完成阈值判断。
import json
import os
import sys
result_path = os.environ["BENCHMARK_JSON"]
actual_ms = None
with open(result_path, "r", encoding="utf-8") as file:
data = json.load(file)
for benchmark in data.get("benchmarks", []):
metric = benchmark.get("metrics", {}).get("timeToInitialDisplayMs")
if metric:
actual_ms = float(metric["median"])
break
if actual_ms is None:
print("benchmark metric not found")
sys.exit(2)
baseline_ms = float(os.environ["BASELINE_MS"])
max_regression = float(os.environ.get("MAX_REGRESSION_RATIO", "0.10"))
limit_ms = baseline_ms * (1.0 + max_regression)
print(f"actual={actual_ms:.1f}ms limit={limit_ms:.1f}ms")
sys.exit(1 if actual_ms > limit_ms else 0)预期结果
actual=820.4ms limit=880.0ms这里 0.10 只是示例阈值,不代表所有应用都应该使用 10%。真正阈值应结合历史噪声、设备稳定性和业务容忍度确定。
为什么不要“一次超阈值就失败”
性能数据天然存在噪声。CPU 调度、温度、后台进程和设备状态都会造成波动,所以“单次异常”与“稳定回退”必须区分。官方也明确建议把 benchmark 结果作为可观测趋势,而不是简单二元测试。([Android Developers][3])
更稳妥的门禁策略是:首先保证设备与场景固定;其次要求关键指标超过阈值后保留原始 JSON 与 trace;对于非关键回退可以先告警,对于关键路径的持续回退再阻断发布。这样既保留自动化,又不会因为正常测量噪声频繁打红 CI。
把失败结果变成可定位证据
CI 的价值不只是告诉团队“性能退了”。失败时至少要归档 benchmark JSON,并保留对应 trace;这样工程师可以从“哪个指标退化”继续追到“哪次迭代、哪个阶段、哪条执行路径”上。Macrobenchmark 本身就会输出 JSON 与 Perfetto trace,这正好适合作为 CI 的性能证据链。([Android Developers][3])
当门禁规则稳定后,再把结果发布到构建产物或历史趋势系统中。这样性能检查就从一次性的本地实验,变成了每个版本都能重复观察、比较和追责的数据流程;而 CI 的失败也会更接近真实的“性能回退证据”,而不是随机数字波动。