消息队列 / 系统课时
位移与消费位置
位移与消费位置
Kafka 消费进度里最容易混淆的是“已经读到哪里”和“已经确认到哪里”。本课用同一分区上的四个位置解释 Consumer Position、Committed Offset、Log End Offset 与 Consumer Lag,并用消费组命令验证它们的关系。
学习目标
- 区分进程内消费位置、已提交位移与分区日志末端
- 根据位移关系正确计算并解释 Consumer Lag
- 使用消费组命令判断积压究竟来自未消费还是未提交
四个位置分别表示什么
Kafka 的 offset 是分区内记录的位置编号,但监控中的几个“offset”含义并不相同。
Consumer Position 是当前消费者下一条准备读取或交付给应用的 offset。poll() 返回一批记录后,只要消费者继续推进,position 就可能向前移动;它主要存在于当前消费者进程中。
Committed Offset 是消费组已经保存到 Kafka 的恢复位置。消费者重启或分区重新分配后,会从这个已提交位置继续,因此提交值表示“下一条要重新开始消费的 offset”,不是“最后一条已处理记录的 offset”。
Log End Offset,LEO 是分区日志末端的下一位置。若当前最后一条记录 offset 为 9,则 LEO 为 10。
Consumer Lag 在消费组常用监控口径中通常按 LEO - Committed Offset 计算。它反映 Kafka 认为这个消费组距离日志末端还差多少,而不是当前进程内已经处理到哪里的绝对事实。

用一个分区算清 Lag
假设分区已有 offset 0 到 9 共 10 条记录,因此 LEO 为 10。消费者已经处理到 offset 7,下一条应从 8 开始,所以 Consumer Position 为 8;但最近一次成功提交的是 5。
此时消费组监控看到的 Lag 为 。如果进程立刻崩溃,重启后会从 offset 5 恢复,已经处理过但尚未提交的 5、6、7 可能再次出现。由此可见,Lag 既受实际消费速度影响,也受提交频率影响。
用命令查看消费组位置
已有消费组 demo-group 消费 orders 主题时,可以直接查看 Kafka 保存的提交位移、日志末端和 Lag:
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group demo-group --describe预期输出
GROUP TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID HOST CLIENT-ID
demo-group orders 0 120 125 5 <ID> <IP> <ID>其中 CURRENT-OFFSET 是该消费组已提交的 offset,LOG-END-OFFSET 是 LEO,LAG 是两者之差。<ID>、<IP> 等实际值会随运行环境变化。
看到 Lag 时先判断哪一种落后
如果 CURRENT-OFFSET 长时间不变而 LOG-END-OFFSET 持续增长,说明消费组没有有效推进,可能是消费者停机、处理过慢或提交失败。
如果应用日志显示业务处理持续向前,但 CURRENT-OFFSET 很久才跳一次,说明进程内 position 可能已经领先,只是提交间隔较长。此时监控 Lag 会暂时偏大,故障恢复时也会产生更多重复处理。
排查消费积压时,应把 生产端增长速度、应用处理速度、提交位移推进速度 分开观察。只有明确这四个位置的口径,Lag 才能成为可靠的容量与故障信号。