Java / 系统课时

设定吞吐、停顿与内存目标

设定吞吐、停顿与内存目标

GC 调优不能从“把停顿调小”开始,而要先把业务 SLO 和机器约束翻译成可验证的 JVM 指标。本篇建立一套目标表:请求延迟决定停顿预算,吞吐与 CPU 决定 GC 时间和计算开销,容器或主机内存约束决定堆大小与回收后的安全余量。

学习目标

  • 将请求延迟、吞吐、CPU 和内存上限映射为可测量的 GC 目标
  • 区分单次停顿、GC 时间占比、业务吞吐和堆余量,避免只优化一个指标
  • 为压测或线上验证定义窗口、阈值和通过条件

从业务约束倒推 GC 目标

先写业务目标,再写 JVM 指标,不要反过来。比如服务要求 p99 请求延迟不超过 200 ms,这并不意味着 GC 停顿目标就等于 200 ms;请求还包含排队、网络、业务计算和下游调用,所以 GC 只能使用其中一部分延迟预算。

业务或资源约束 可映射的 JVM 目标 验证重点
p99 延迟上限 单次停顿阈值、长停顿次数 停顿是否侵占尾延迟预算
最低 QPS 或任务吞吐 GC 时间占比、业务吞吐下降幅度 调优后吞吐不能倒退
CPU 上限 GC CPU 开销、并发回收线程影响 GC 不应长期抢占业务 CPU
容器或主机内存上限 -Xmx、回收后 live set、非堆余量 峰值总内存不能逼近上限
突发流量要求 回收后堆余量、晋升和分配速率 峰值期间仍有吸收空间

不同收集器对“停顿目标”的实现方式不同,而且相关参数通常是调度提示,不是硬实时保证。因此目标应写成“在指定负载与窗口内,观测值必须满足什么阈值”,而不是“设置某个 JVM 参数后一定达到多少毫秒”。

把目标写成可计算阈值

一组可执行的目标至少要有观测窗口和通过条件。常用的三个量可以写成:

rgc=Tgc/Twindowr_{gc}=T_{gc}/T_{window}

hheadroom=1−Hlive/Hmaxh_{headroom}=1-H_{live}/H_{max}

其中 TgcT_{gc} 是窗口内 GC 停顿总时长,HliveH_{live} 是一次具有代表性的主要回收后仍存活的堆占用。若团队把 200 ms 的请求 SLO 中 10% 分给单次 GC 停顿,并要求 5 分钟窗口内 GC 停顿总占比不超过 3%,同时希望回收后至少保留 30% 堆余量,可以先得到明确的验收阈值。

下面的脚本使用一组完整的示例输入,把这些策略换算成具体阈值;这些比例与堆上限都是示例策略,不是 JVM 默认值。

bash
export LATENCY_SLO_MS=200
export PAUSE_BUDGET_RATIO=0.10
export WINDOW_SECONDS=300
export MAX_GC_RATIO=0.03
export HEAP_MAX_MB=4096
export MIN_HEADROOM_RATIO=0.30

python3 - <<'PY'
import os

latency = float(os.environ["LATENCY_SLO_MS"])
pause_ratio = float(os.environ["PAUSE_BUDGET_RATIO"])
window = float(os.environ["WINDOW_SECONDS"])
gc_ratio = float(os.environ["MAX_GC_RATIO"])
heap = float(os.environ["HEAP_MAX_MB"])
headroom = float(os.environ["MIN_HEADROOM_RATIO"])

print(f"single_pause_target_ms={latency * pause_ratio:.0f}")
print(f"max_gc_pause_time_in_window_s={window * gc_ratio:.1f}")
print(f"max_post_gc_live_mb={heap * (1 - headroom):.1f}")
PY

预期输出

text
single_pause_target_ms=20
max_gc_pause_time_in_window_s=9.0
max_post_gc_live_mb=2867.2

实际项目中应由容量测试决定这些比例。对低延迟接口,20 ms 也可能过高;对批处理任务,停顿不是第一约束,吞吐和 CPU 效率可能更重要。

分开看停顿、吞吐和内存

单次停顿只回答“最糟的一次暂停多长”,GC 时间占比回答“整个窗口有多少时间花在停顿”,两者不能互相替代。一个系统可能没有超长停顿,却因为频繁小 GC 消耗大量 CPU;也可能 GC 总占比很低,但偶发一次长停顿直接打穿 p99 或 p999。

吞吐目标要直接观察业务完成量,例如稳定负载下 QPS、每分钟处理任务数或单位时间批处理量。GC 优化若让停顿下降 30%,却让吞吐下降 15% 或 CPU 长期打满,就不能算通过。

内存目标也不应只看“Heap 有没有到 100%”。更有价值的是主要回收后的 live set,以及它距离 -Xmx 还剩多少空间。回收后仍长期逼近堆上限,说明系统几乎没有吸收流量尖峰、晋升波动或对象生命周期变化的空间。

用同一个窗口做调优验收

调优前先固定负载模型、数据量、JVM 版本、收集器、实例规格和观测窗口。每次只改变一个主要变量,再对比延迟、吞吐、CPU、GC 和内存;否则即使结果变好,也无法判断是哪项修改起作用。

一份最小验收标准可以写成:在连续 30 分钟目标负载下,业务 p99 不超过约定值;GC 单次停顿不超过预算或超限次数低于明确阈值;GC 停顿总占比小于目标;业务吞吐不低于基线;CPU 峰值和平均值都在容量范围内;主要回收后堆余量达到目标;容器总内存仍有安全边界。

决定哪个目标优先

在线 API 通常先守住尾延迟,再保证吞吐和成本;离线批处理通常先看单位时间完成量和 CPU 效率;内存受限的容器环境还必须把总内存边界作为硬约束。目标冲突时不要追求“所有指标都最小”,而要按业务优先级定义可接受区间。

真正可用的 GC 目标必须同时具备四个要素:明确负载、固定观测窗口、可计算阈值和业务通过条件。只有这样,后续更换收集器、调整堆大小或修改 GC 参数时,才有客观基线判断调优究竟是改善还是转移了问题。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

设定吞吐、停顿与内存目标

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通