Java / 系统课时

设计 JVM 监控与告警

设计 JVM 监控与告警

JVM 告警要回答的是“现在是否需要人介入”,而不是把所有指标都设阈值。本篇把堆水位、分配速率、GC 时间占比、停顿分位数、线程与进程内存组合成可行动规则,并给出可落地的 Prometheus 示例。

学习目标

  • 能建立覆盖堆、GC、线程与进程内存的最小监控集
  • 能用趋势、持续时间和多信号组合减少误报
  • 能把告警直接映射到可执行的排查动作

从四类信号建立仪表盘

监控至少覆盖容量、速率、延迟和进程资源四类信号。容量看“还剩多少空间”,速率看“压力是否突然变大”,延迟看“GC 是否影响请求”,进程资源则用于发现堆外和线程问题。

JVM 监控信号与告警动作关系

推荐把下列指标放在同一时间轴上:堆使用率与 GC 后 live set、对象分配速率、GC pause 总时间占比、pause p95/p99、应用请求延迟、活跃线程数、进程 RSS 与 CPU。单独看其中任何一项都容易误判,组合后才知道是容量问题、吞吐问题还是暂停问题。

用比率和趋势替代单点阈值

堆水位适合看 GC 后的趋势。若每次 GC 后占用逐步抬高,且业务负载没有同步增长,应提高泄漏或缓存失控的优先级。单看瞬时 used / max 容易被正常的锯齿波形触发。

分配速率用于解释“为什么 GC 突然变频繁”。它应与 Young GC 频率、CPU 和请求吞吐联动观察。若分配速率翻倍但请求量没有变化,通常比“堆使用率 80%”更值得立即调查。

GC 时间占比可以用一个滑动窗口内的 GC 累计耗时除以墙钟时间估算。例如 5 分钟窗口中 GC 累计消耗 45 秒,则 GC 时间占比约为 15%。这个指标持续升高时,说明吞吐被回收工作侵蚀。

停顿告警应优先看 p95/p99,而不是平均值。平均暂停 20 ms 并不能排除少量 2 秒长暂停;真正影响尾延迟的往往正是这些高分位事件。

组合成可行动的告警

下面以 Prometheus 为例。指标名采用 Micrometer/Prometheus 常见命名;如果你的采集链做过 relabel 或自定义命名,应在保持语义一致的前提下替换。pause 分位数依赖 jvm_gc_pause_seconds_bucket,需要先确认直方图桶已实际导出。

yaml
groups:
  - name: jvm-gc
    rules:
      - alert: JvmGcTimeRatioHigh
        expr: sum by (instance) (rate(jvm_gc_pause_seconds_sum[5m])) > 0.15
        for: 10m
        labels:
          severity: warning
        annotations:
          summary: "JVM GC time ratio has stayed above 15%"

      - alert: JvmGcPauseP99High
        expr: histogram_quantile(0.99, sum by (le, instance) (rate(jvm_gc_pause_seconds_bucket[5m]))) > 0.5
        for: 10m
        labels:
          severity: warning
        annotations:
          summary: "JVM GC pause p99 has stayed above 500 ms"

      - alert: JvmProcessRssDivergesFromHeap
        expr: sum by (instance) (process_resident_memory_bytes) - sum by (instance) (jvm_memory_used_bytes{area="heap"}) > 1073741824
        for: 15m
        labels:
          severity: warning
        annotations:
          summary: "Process RSS exceeds used Java heap by more than 1 GiB"

这是配置片段,实际阈值不能直接照搬。应先用服务自己的 SLO、堆大小、容器限制和历史基线校准;RSS 与 heap 的差值还包含线程栈、代码缓存、元空间、直接内存和 JVM 自身结构,因此它只用于触发“查原生内存”的动作。

可用 promtool 在发布前校验规则语法:

bash
promtool check rules <PATH>/jvm-alerts.yml

预期输出类似:

text
Checking <PATH>/jvm-alerts.yml
  SUCCESS: <VALUE> rules found

<VALUE> 取决于文件中的规则数量。语法通过只说明规则可被 Prometheus 解析,不代表表达式一定匹配到你的真实指标。

把告警绑定到排查动作

一个好的告警必须让值班人员知道下一步查什么。JvmGcTimeRatioHigh 应先看分配速率、GC 类型和 CPU;JvmGcPauseP99High 应关联同时间窗的 GC 日志、safepoint 与请求 p99;RSS 与 heap 差值持续扩大时,则优先查 NMT、线程数和 Direct Buffer,而不是先增大堆。

告警还应设置持续窗口和恢复条件。持续 10~15 分钟能过滤瞬时抖动,但对低延迟服务可能过慢;生产阈值应按业务 SLO 和流量周期回放验证。可以先以只记录不通知的方式运行一段时间,统计触发频率,再决定页面、电话或工单级别。

验证监控是否真的可用

上线前至少做一次受控验证:短时增加对象分配压力,确认 allocation rate 和 GC 时间占比同步变化;在非生产环境制造短暂停顿,确认 pause 分位数和应用延迟能在同一时间轴对应;调整进程外内存占用时,确认 RSS 与 heap 的差值能被观察。

不要把“Prometheus 有数据”当作监控完成。真正的验收标准是:指标能解释现象、规则能在正确时间触发、通知包含服务与实例上下文,并且值班人员能从告警直接进入对应的排查路径。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

设计 JVM 监控与告警

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通