Java / 系统课时

排查 To-space exhausted 与 Full GC

排查 To-space exhausted 与 Full GC

当 G1 日志出现 to-space exhausted、Evacuation Failure 或紧随其后的 Full GC 时,核心问题不是“GC 太慢”这么简单,而是转移对象需要的目标空间、晋升速度与并发回收进度失去平衡。本篇给出一条按日志证据定位并验证修复的排查路径。

学习目标

  • 区分 To-space exhausted、Evacuation Failure 与 Full GC 的因果关系
  • 从堆余量、晋升压力、并发标记和 Humongous 对象判断根因
  • 按风险从低到高选择修复手段,并用同负载 GC 日志验证

先确认到底发生了什么

G1 的 Young 或 Mixed GC 会把 Collection Set 中仍存活的对象复制到其他 Region。旧版 HotSpot 日志常用 to-space exhausted 表示目标空间不足;在较新的 JDK 中,同类问题会以 Evacuation Failure: Allocation 更明确地记录。如果原因是 Pinned,则说明存在暂时不能移动的对象,排查方向与单纯空间不足不同。

在已经开启 Unified GC Logging 的 gc.log 上先筛出关键事件:

bash
grep -E "to-space exhausted|Evacuation Failure|Pause Full|Humongous regions|Concurrent Mark" <PATH>/gc.log

预期输出(存在转移空间不足并退化为 Full GC 时,具体格式会随 JDK 版本变化):

text
<TIME> ... GC(<ID>) ... (Evacuation Failure: Allocation) ...
<TIME> ... GC(<ID>) Pause Full (G1 Compaction Pause) ...

如果只有 Pinned 而没有 Allocation,优先检查 JNI 临界区或其他导致对象被固定的本地代码;如果出现 Allocation,才进入“空间为什么不够”的主线。

G1 转移失败到 Full GC 的排查分支

用三个时间序列找根因

不要只看某一次 GC 后的堆使用量。真正有价值的是故障前一段时间内的趋势:可用空间还剩多少、每次回收向 Old 区带入多少存活对象、并发标记能否赶在余量耗尽前完成。

观察信号 日志表现 主要含义
堆余量持续下降 GC 后已用堆越来越高,空闲 Region 越来越少 转移时缺少可用目标 Region
晋升压力过大 连续 Young GC 后 Old regions 明显阶梯式增长 短时间存活对象过多,Old 区被快速吃掉
标记进度落后 Concurrent Mark 尚未完成,Old 区已逼近上限 Mixed 回收启动太晚,回收速度落后于分配
Humongous 占用高 Humongous regions 长期较高或快速增加 大对象直接占用连续 Old Region,降低可用余量

判断“晋升过快”时,不要把一次 Old Region 增长就当成异常。缓存预热、批任务开始都可能造成短时上升;只有在多个 GC 周期持续增长,并且回收后的最低占用也不断抬高时,才说明 live set 或晋升速率正在挤压转移空间。

并发标记也不能只看有没有启动。G1 需要先完成标记,才能识别适合进入 Mixed GC 的 Old Region。如果应用在标记期间仍高速向 Old 区分配,而标记还没结束,最终就可能在“知道哪些旧区值得回收”之前先耗尽保留空间。

按证据选择修复动作

最优先的修复通常在应用侧。若故障前分配速率或晋升速率突然升高,应先定位大批量对象创建、请求峰值、缓存一次性扩容、队列积压或对象生命周期变长。只靠增大堆可以争取时间,但无法消除持续增长的 live set。

如果 live set 稳定,只是并发标记偶尔赶不上,可以增加堆余量,或在压测中小步提高 -XX:G1ReservePercent,让 G1 为转移保留更大的安全缓冲。若 CPU 仍有余量且 Concurrent Mark 明显过慢,再评估提高 -XX:ConcGCThreads;不要在 CPU 已饱和时机械增加并发 GC 线程。

如果 Adaptive IHOP 对突发负载预测失准,应先用更大的保留空间观察效果,再考虑关闭自适应并手工降低 -XX:InitiatingHeapOccupancyPercent。过早固定 IHOP 会让标记周期更频繁,可能用吞吐量换来并不必要的安全余量。

Humongous Region 很高时,先确认是否真的存在大量大数组、缓冲区或批量序列化结果。调整 -XX:G1HeapRegionSize 只应建立在对象尺寸分布证据上,因为 Region 变大会改变 Humongous 阈值和回收粒度,并不是通用的“消灭大对象”开关。

用同一负载验证是否真正恢复

修复后应使用相同堆上限、相同流量模型和足够长的稳定运行窗口复测。验收标准不是“Full GC 少了一次”,而是故障链条整体消失:不再出现 to-space exhausted 或 Evacuation Failure: Allocation,Old 区回收后的基线不再持续抬高,并发标记能够在安全余量耗尽前完成并进入有效的空间回收阶段。

同时比较 p99 延迟、GC CPU 与吞吐量。如果只是通过更频繁的并发标记或更大的 GC 线程数掩盖了空间问题,尾延迟可能改善,但业务吞吐会下降。真正稳定的结果应当同时满足“有足够转移空间、回收进度跟得上分配、没有重复 Full GC”这三个条件。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

排查 To-space exhausted 与 Full GC

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通