消息队列 / 技术文章

Kafka Lag 激增怎么排查

当 Kafka Consumer Lag 在几分钟内突然抬升,最危险的不是积压本身,而是把“流量增长、消费变慢、分区长尾、提交停滞”混成同一种故障。面向负责告警、线上积压和容量判断的后端、平台与 SRE 工程师,下面给出一套从确认告警到止损的排查路径,最终要得到一个可执行结论:该回滚、扩容,还是继续追查某个分区、依赖或 Offset 提交链路。

先确认告警代表什么

Consumer Lag 通常指 LOG-END-OFFSET - CURRENT-OFFSET,它反映的是“Broker 已有但消费组尚未提交到该位置之后的消息量”。因此看到总 Lag 上升时,第一步不是重启消费者,而是确认三条曲线是否来自同一 Topic、同一消费组和同一时间窗口:

  • 生产速率 P:消息进入 Topic 的速率。
  • 成功消费并推进 Offset 的速率 C:消息被业务处理完成且提交位置持续前进的速率。
  • Lag L:优先看每个 Partition,再看总和。

在时间窗口足够短、没有 Offset 重置的前提下,可以用下面的近似关系快速判断方向:

ΔLΔt≈P−C\frac{\Delta L}{\Delta t} \approx P - C

如果 P 突然上升而 C 基本不变,通常是输入流量超过现有容量;如果 P 平稳而 C 明显下降,优先查消费者、依赖或 Kafka 请求链路;如果业务成功量仍在增长,但 committed offset 很久不前进,则要把提交链路单独拿出来检查。

先保存一份现场快照,避免后续扩缩容或重启把分配关系和 Offset 位置冲掉:

bash
kafka-consumer-groups.sh \
  --bootstrap-server <BROKER> \
  --group <GROUP> \
  --describe

重点保留 TOPIC、PARTITION、CURRENT-OFFSET、LOG-END-OFFSET、LAG、CONSUMER-ID、HOST 和 CLIENT-ID。隔一小段时间再次采样,同一分区的 Lag 是继续增长、保持不变还是开始回落,比单次绝对值更有诊断价值。

用四个问题完成第一轮分诊

把“Lag 激增”拆成下面四个问题,通常能在几分钟内决定下一步去哪一层找证据。

观察 更可能的方向 下一步
P 上升,C 稳定且接近历史上限 容量不足或突发流量 检查分区并行度、实例余量和可持续消费速率
P 稳定,C 整体下降 消费处理、下游依赖、GC、CPU 或网络变慢 对齐应用延迟、错误、资源和 Kafka 请求时间线
C 接近 0,同时成员或分配频繁变化 消费组不稳定 查看成员生命周期、Rebalance 与 Poll 健康度
业务处理仍成功,但 committed offset 推进异常慢 Offset 提交路径异常 检查提交失败、提交频率和提交边界,不先重置 Offset

如果只有总 Lag,没有生产速率和消费推进速率,结论最多只能是“存在积压”,不能直接推出“消费者性能下降”。同样,单看 CPU 也不能判断容量是否不足:消费者可能卡在数据库、HTTP、磁盘、Broker 请求或某个长尾分区上。

从分区长尾判断是不是局部故障

总 Lag 会把最重要的信息压平。线上排查时应先按 Partition 看两件事:谁的 Lag 最大,谁的 Lag 增长最快。

如果所有分区几乎同时以相近斜率上涨,更像是共享瓶颈,例如下游数据库变慢、消费者整体 CPU 被限流、Broker 请求延迟升高或发布引入了普遍性能回退。如果只有少数分区持续拉开差距,则优先检查:

  • 热 Key 或业务分布倾斜,导致某个 Partition 的生产速率显著更高。
  • 某个消费者同时承载多个分区,其中一个分区包含慢消息或异常重试。
  • 该分区对应的 Broker、网络路径或存储出现局部延迟。
  • 分区发生重新分配后落到资源更差的实例,形成新的长尾。

一个常见误判是“总 Lag 很高,所以继续加消费者”。如果主要积压集中在单个 Partition,上限仍受单分区串行消费约束;新增实例只有在存在可重新分配的其他分区时才会带来收益。

把消费速率下降对齐到事件时间线

定位 C 为什么下降时,不要先从 Kafka 参数开始调,而是把告警前后几分钟的事件按同一时间轴对齐。最有价值的证据通常来自五条线:

  • 发布、配置变更、实例重启和自动扩缩容。
  • CPU、容器 throttling、JVM GC、线程池和本地队列。
  • 数据库、HTTP、缓存、对象存储等下游依赖的延迟与错误率。
  • 消费组成员数量、分配变化、Rebalance 和 Poll 健康度。
  • Broker 请求延迟、网络错误、超时和连接重建。

判断时看“谁先变化”。例如,部署后业务处理 P95 先升高,随后 C 下降并带动 Lag 上升,应用回退比盲目扩容更优先;如果所有实例的 Kafka 请求延迟先升高,而业务下游正常,则应把 Broker 或网络放到更高优先级;如果 Lag 激增与成员不断加入、离开严格同步,则要先稳定消费组,否则扩容本身可能继续制造扰动。

区分容量不足和消费卡住

容量不足与消费卡住都会表现为 Lag 上升,但处理动作完全不同。

容量不足的典型特征是:C 仍然稳定推进,只是长期低于 P;资源利用率或业务处理吞吐接近可重复观察到的上限;增加一个有效消费者后,总 C 能上升;同时 Topic 仍有足够 Partition 提供并行度。此时扩容才是在解决根因。

消费卡住更常见的信号是:C 突然塌陷,错误或超时同步升高,新增实例后总吞吐几乎不变,或者所有实例都被同一个下游瓶颈限制。此时继续扩容只会增加连接数、重试量和 Rebalance 次数。

当消费已经恢复并满足 C > P 时,可以估算积压清空时间:

T≈LC−PT \approx \frac{L}{C - P}

这里的 C 必须使用恢复后的可持续速率,而不是刚重启时的短时峰值。如果 C <= P,积压不会自然清空,必须先提高可持续消费能力或降低输入速率,再谈恢复时间。

按证据选择止损动作

线上处置应尽量一次只改变一个主要变量,并保留变更前后的 Lag 斜率和消费速率,避免“重启、扩容、改参数”同时发生后无法判断哪一步有效。

  • 如果问题紧跟发布出现,且性能证据指向应用回退,优先回滚或关闭高成本路径。
  • 如果下游依赖已经过载,优先启用已验证的限流、降级或背压策略,先恢复稳定推进,再追求吞吐。
  • 如果确认是容量不足,在 Partition 并行度允许范围内扩容,并验证新增实例后 C 是否真实上升。
  • 如果积压集中在少数 Partition,优先处理热 Key、慢消息或局部 Broker/实例问题,而不是只看消费组总副本数。
  • 如果怀疑 Offset 提交异常,先保存 committed offset、处理成功量和错误日志,不要把重置 Offset 当作排障动作。

一次合格的排查最终应能回答四个问题:Lag 从什么时间开始、影响哪些 Partition、P 与 C 谁先变化、采取什么动作后 Lag 斜率发生了什么变化。只有这四项闭环,才能把“积压消失了”升级为“根因已经被验证”。

把下一次告警变成可直接判断的现场

为了让下次告警不再从零开始,监控面板至少应同时展示总 Lag、分区 Lag、Lag 增长速率、生产速率、成功消费并推进 Offset 的速率、消费者实例数、Rebalance 事件、Poll 健康度,以及关键下游延迟和错误率。

告警本身也不要只写“Lag 超阈值”。更有效的告警信息应直接附带变化方向,例如“Lag 连续增长、P 平稳、C 下降、Top Partition 为 <TOPIC>-<PARTITION>”。这样值班人员拿到的不是一个孤立数字,而是一条已经完成第一轮分诊的证据链。

目录与阅读设置

记录一个想法

Kafka Lag 激增怎么排查

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通