Java / 系统课时

综合演练:治理内存抖动服务

综合演练:治理内存抖动服务

本演练处理一个 P99 周期性飙升且偶发 Java heap space OOM 的 Java 服务。目标不是靠堆大或参数多掩盖症状,而是按证据链区分对象保留、分配突发与 GC 行为,先修根因,再灰度调参,最后用压测形成可复现的容量结论。

学习目标

  • 从 GC 日志、堆概况和对象直方图中建立内存抖动的定位顺序。
  • 区分应用对象长期保留与 GC 参数问题,避免用调参替代根因修复。
  • 通过压测和失败阈值验证优化,并把结果换算为实例容量与安全余量。

先定义故障现象与验收线

假设服务运行在 HotSpot JDK 21、4 vCPU、6 GiB 容器中,JVM 使用 G1。容器内存不能简单按“6 GiB 都给 Java 堆”规划,因为 metaspace、线程栈、Code Cache、Direct Buffer 以及其他 native memory 都需要预算。因此本演练不把 -Xmx4g 当作默认生产配置,而是在尚未测得完整内存画像时,先用 -Xms3g -Xmx3g 作为保守的实验基线,为非堆、堆外和 native memory 留出约 3 GiB 的容器空间;生产值仍必须根据历史峰值、线程数、Direct Memory 和 native memory 实测结果核算。

正常时 P99 约 220 ms,但高峰期会周期性升到 2 s 以上,偶发进程因 Java heap space OOM 退出。监控还显示老年代低水位逐轮上升,这说明“回收后仍然留下的对象”值得优先检查。

本次治理的验收条件设为:目标 800 QPS 下连续压测 30 分钟无 OOM、无 Full GC,P99 不高于 300 ms,CPU 不高于 70%,并且老年代回收后低水位稳定,不再随时间单调爬升。真实生产阈值必须由业务 SLO 和历史容量基线确定。

先采证据,不先改参数

先确保 JVM 在启动时记录足够的 GC 信息,并在真正发生 OOM 时自动保留堆转储。以下示例中的 <PATH> 替换为有足够磁盘空间且进程可写的目录。这里的 3 GiB 堆只是本演练的保守实验基线;实际堆上限应由容器总预算减去非堆、Direct Memory、线程栈和其他 native memory 的实测或保守余量后确定。

bash
java -Xms3g -Xmx3g -XX:+UseG1GC -Xlog:gc*,safepoint:file=<PATH>/gc.log:time,uptime,level,tags -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=<PATH>/heap.hprof -jar <PATH>/app.jar

预期结果:

text
应用正常启动后,<PATH>/gc.log 持续追加 GC 与 safepoint 记录。
若发生 Java heap OOM,则 JVM 尝试在 <PATH>/heap.hprof 写入堆转储。

故障发生前后,在可承受诊断开销的实例上采集当前 flags、堆概况和对象直方图:

bash
PID="<PID>"
jcmd "$PID" VM.flags -all | grep -E "UseG1GC|MaxGCPauseMillis|MaxHeapSize"
jcmd "$PID" GC.heap_info
jcmd "$PID" GC.class_histogram | head -n 20

预期输出:

text
... UseG1GC ... true ...
... MaxHeapSize ... <VALUE> ...
<PID>:
garbage-first heap ... used <VALUE>K ...
 num     #instances         #bytes  class name
-------------------------------------------------------
   1:        <VALUE>        <VALUE>  [B
   2:        <VALUE>        <VALUE>  java.lang.String
...

GC.class_histogram 对大堆可能有明显开销,不应在高峰期高频执行。直方图只能告诉你“什么对象多”,不能单独证明泄漏;真正的保留关系还要结合 OOM 堆转储中的 dominator、retained size 和 GC Roots 路径确认。

Java 服务内存抖动治理闭环

用证据把根因缩小到对象保留

本演练中,GC 日志显示 Young GC 很频繁,混合回收后老年代占用仍从约 55% 逐步升到 90% 以上;OOM 堆转储进一步显示大量 byte[] 被业务缓存条目长期引用。对象直方图与保留路径方向一致,才能把“字节数组很多”升级为“缓存无界增长导致存活集扩大”的结论。

这时直接增加 -Xmx 只能延后 OOM,不能消除持续增长;单纯换收集器也无法回收仍被 GC Roots 引用的对象。正确修复是给缓存增加明确的容量或权重上限、过期策略,并确认异常路径不会绕过淘汰。完成应用修复后,先用原来的 G1 参数压测一次,判断根因修复本身带来了多少收益。

根因修复后再调 GC

应用修复使老年代低水位稳定后,仍可能存在可优化的尾延迟。本例只灰度一个主要变量:把 G1 的 -XX:MaxGCPauseMillis 从 200 ms 调到 150 ms,观察是否以可接受的 CPU 与吞吐成本换来更稳的暂停分布。这个值是目标,不是暂停硬上限。

灰度实例重启后确认参数确实生效:

bash
PID="<PID>"
jcmd "$PID" VM.flags -all | grep -E "UseG1GC|MaxGCPauseMillis"

预期输出:

text
... UseG1GC ... true ...
... MaxGCPauseMillis ... 150 ...

如果灰度组 P99 改善但 CPU 明显越线,或者 GC 频率升高导致吞吐下降,就恢复 200 ms 基线。不要同时再改年轻代大小、并发线程数和 IHOP,否则压测结果无法归因。

用同负载压测完成验收

压测必须让基线组和优化组承受相同请求模型、连接数、数据集和持续时间。假设压测机已安装 wrk,对目标接口执行 30 分钟稳态测试:

bash
wrk -t4 -c120 -d30m --latency http://<IP>:<PORT>/api/orders

预期输出:

text
Running 30m test @ http://<IP>:<PORT>/api/orders
  4 threads and 120 connections
Latency Distribution
  50%   <VALUE>ms
  90%   <VALUE>ms
  99%   <VALUE>ms
Requests/sec: <VALUE>

wrk 的延迟统计只代表压测端观测,还要同步检查服务端错误率、CPU、GC 日志和实例重启。压测结束后检查是否出现 Full GC 或 G1 疏散失败信号:

bash
grep -E "Pause Full|To-space exhausted" <PATH>/gc.log

预期结果:

text
无输出

无输出只说明这两个模式未命中,不能替代完整 GC 日志分析。若 P99、CPU 或堆低水位仍不达标,应回到证据链重新定位,而不是继续随机叠加参数。

把压测结果变成容量结论

假设修复后的样例在 900 QPS 时仍满足 P99 小于 300 ms、CPU 约 68%、无 Full GC,继续加压后首先触发延迟红线,那么 900 QPS 是这次环境下的“稳定上界”,不是生产承诺值。若团队采用 70% 的容量系数,则单实例规划容量约为 900×0.7=630900 \times 0.7 = 630 QPS。

当峰值需求为 5000 QPS 时,纯容量计算至少需要 ⌈5000/630⌉=8\lceil 5000 / 630 \rceil = 8 个健康实例;实际部署还应叠加故障域冗余、发布期间损失、流量不均和下游限额。最终交付应同时保存应用修复版本、JVM 参数版本、压测模型、GC 日志和容量计算依据,这样下一次抖动才能从可复现基线继续,而不是重新猜参数。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

综合演练:治理内存抖动服务

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通