消息队列 / 系统课时

位移与消费位置

位移与消费位置

Kafka 消费进度里最容易混淆的是“已经读到哪里”和“已经确认到哪里”。本课用同一分区上的四个位置解释 Consumer Position、Committed Offset、Log End Offset 与 Consumer Lag,并用消费组命令验证它们的关系。

学习目标

  • 区分进程内消费位置、已提交位移与分区日志末端
  • 根据位移关系正确计算并解释 Consumer Lag
  • 使用消费组命令判断积压究竟来自未消费还是未提交

四个位置分别表示什么

Kafka 的 offset 是分区内记录的位置编号,但监控中的几个“offset”含义并不相同。

Consumer Position 是当前消费者下一条准备读取或交付给应用的 offset。poll() 返回一批记录后,只要消费者继续推进,position 就可能向前移动;它主要存在于当前消费者进程中。

Committed Offset 是消费组已经保存到 Kafka 的恢复位置。消费者重启或分区重新分配后,会从这个已提交位置继续,因此提交值表示“下一条要重新开始消费的 offset”,不是“最后一条已处理记录的 offset”。

Log End Offset,LEO 是分区日志末端的下一位置。若当前最后一条记录 offset 为 9,则 LEO 为 10。

Consumer Lag 在消费组常用监控口径中通常按 LEO - Committed Offset 计算。它反映 Kafka 认为这个消费组距离日志末端还差多少,而不是当前进程内已经处理到哪里的绝对事实。

同一分区中消费位置、提交位移、日志末端与 Lag 的关系

用一个分区算清 Lag

假设分区已有 offset 0 到 9 共 10 条记录,因此 LEO 为 10。消费者已经处理到 offset 7,下一条应从 8 开始,所以 Consumer Position 为 8;但最近一次成功提交的是 5。

此时消费组监控看到的 Lag 为 10−5=510 - 5 = 5。如果进程立刻崩溃,重启后会从 offset 5 恢复,已经处理过但尚未提交的 5、6、7 可能再次出现。由此可见,Lag 既受实际消费速度影响,也受提交频率影响。

用命令查看消费组位置

已有消费组 demo-group 消费 orders 主题时,可以直接查看 Kafka 保存的提交位移、日志末端和 Lag:

bash
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group demo-group --describe

预期输出

text
GROUP       TOPIC   PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG  CONSUMER-ID  HOST  CLIENT-ID
demo-group  orders  0          120             125             5    <ID>         <IP>  <ID>

其中 CURRENT-OFFSET 是该消费组已提交的 offset,LOG-END-OFFSET 是 LEO,LAG 是两者之差。<ID>、<IP> 等实际值会随运行环境变化。

看到 Lag 时先判断哪一种落后

如果 CURRENT-OFFSET 长时间不变而 LOG-END-OFFSET 持续增长,说明消费组没有有效推进,可能是消费者停机、处理过慢或提交失败。

如果应用日志显示业务处理持续向前,但 CURRENT-OFFSET 很久才跳一次,说明进程内 position 可能已经领先,只是提交间隔较长。此时监控 Lag 会暂时偏大,故障恢复时也会产生更多重复处理。

排查消费积压时,应把 生产端增长速度、应用处理速度、提交位移推进速度 分开观察。只有明确这四个位置的口径,Lag 才能成为可靠的容量与故障信号。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

位移与消费位置

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通