消息队列 / 系统课时

消费积压监控与定位

消费积压监控与定位

消费积压不是单一故障,而是“写入速度、消费能力、分区分布和下游耗时”失去平衡后的结果。本课用消费组 Lag 作为入口,沿分区和成员分布逐层定位,并根据根因选择恢复策略。

学习目标

  • 能读懂消费组的 CURRENT-OFFSET、LOG-END-OFFSET 与 LAG。
  • 能区分整体吞吐不足、热点分区、消费者异常和下游瓶颈。
  • 能根据 Lag 趋势验证恢复是否真正生效。

先确认 Lag 是否真的在增长

先用 Kafka 自带工具查看消费组。示例假设消费组为 order-worker,Broker 地址为本机 9092;实际环境按部署地址替换。

bash
BOOTSTRAP=127.0.0.1:9092
GROUP=order-worker
kafka-consumer-groups.sh \
  --bootstrap-server "$BOOTSTRAP" \
  --group "$GROUP" \
  --describe

预期输出类似:

text
GROUP         TOPIC   PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG      CONSUMER-ID  HOST   CLIENT-ID
order-worker  orders  0          <VALUE>         <VALUE>         <VALUE>  <ID>         /<IP>  <ID>
order-worker  orders  1          <VALUE>         <VALUE>         <VALUE>  <ID>         /<IP>  <ID>

其中 LAG = LOG-END-OFFSET - CURRENT-OFFSET。一次快照只能说明“现在积压多少”,不能说明“积压是否恶化”,因此至少要连续观察 Lag、生产速率和消费速率的趋势。

用趋势和分区分布判断根因

如果总 Lag 持续上升,同时消费速率长期低于生产速率,通常是整体处理能力不足;如果只有少数分区上涨,则更像 Key 倾斜、热点分区或某个消费者处理异常。若所有分区突然一起上涨,还要检查消费者是否发生频繁 Rebalance、实例重启或下游依赖超时。

Kafka 消费积压定位决策流程

判断时优先比较每个 Partition 的 Lag,而不是只看消费组总和。总 Lag 可能掩盖热点:一个分区持续堆积、其他分区几乎为空时,单纯增加消费者实例并不会改善这个热点分区的处理能力。

把积压分成四类处理

整体吞吐不足:消费者处理稳定,但消费速率长期低于生产速率。先确认分区数是否允许增加并行度,再扩展消费者;同一消费组的有效并行消费者数量通常不会超过可分配分区数。

分区倾斜:少数分区 Lag 明显高于其他分区。检查消息 Key 是否把大量流量固定到少数分区;这种情况应治理 Key 或分区策略,而不是只扩实例。

消费者不稳定:Lag 伴随频繁 Rebalance、实例重启或长时间 Poll。检查处理耗时、max.poll.interval.ms、会话超时以及 GC 暂停,避免业务处理阻塞消费循环。

下游瓶颈:消费者仍在拉取,但数据库、HTTP 服务或磁盘写入变慢。此时盲目扩消费者可能把压力继续放大到下游,应先恢复下游容量或降低单次处理压力。

制定恢复顺序

恢复时先止住 Lag 增长,再追求清零。整体吞吐不足时,提高有效消费并行度或缩短单条处理时间;热点分区时优先修复 Key 分布;消费者不稳定时先消除 Rebalance 和长暂停;下游饱和时先保护依赖系统。

可以用“净排空速率”估算恢复时间:当消费速率稳定高于生产速率后,净排空速率等于两者之差,预计恢复时间约为“当前 Lag ÷ 净排空速率”。如果两者几乎相等,Lag 即使不再增长,也不会很快消失。

验证是否真正恢复

恢复后的正确迹象不是“某一刻 Lag 变小”,而是连续多个观察窗口中总 Lag 呈下降趋势,各分区都在推进,消费速率稳定高于生产速率,同时 Rebalance、错误率和下游延迟没有恶化。

当 Lag 下降到正常基线后,仍应保留一段观察时间。只有积压趋势、成员稳定性、分区分布和下游耗时同时恢复,才能确认问题已经解除,而不是暂时被流量波动掩盖。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

消费积压监控与定位

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通