消息队列 / 系统课时
区分消费位置与已提交 Offset
区分消费位置与已提交 Offset
分析 Kafka 积压、重复消费和故障恢复时,先要把三个坐标分开:消费者当前准备读到哪里、消费组已经确认到哪里、分区最新写到哪里。混用这三个 Offset,会直接导致 Lag、恢复点和数据安全判断失真。
学习目标
- 区分当前消费位置、已提交 Offset 与 Log End Offset 的含义
- 用三个坐标解释 Lag、重复处理和恢复起点
- 识别
kafka-consumer-groups.sh中CURRENT-OFFSET的真实含义
三个 Offset 对应三种不同状态
对某个 Topic Partition 来说,当前消费位置是消费者实例下一次 poll() 继续读取的位置;已提交 Offset 是消费组存放在 Kafka 中的恢复点;Log End Offset(LEO) 是 Broker 端该分区下一条新消息将获得的 Offset。
| 坐标 | 谁维护 | 什么时候变化 | 主要用途 |
|---|---|---|---|
| Current Position | 消费者实例 | 拉取并推进位置时 | 判断当前进程已经读到哪里 |
| Committed Offset | 消费组协调相关状态 | 自动或手动提交时 | Rebalance、重启后的恢复起点 |
| Log End Offset | Broker 分区日志 | 新记录追加成功时 | 判断分区最新写入位置 |
三个值都表示“下一条记录的位置”,而不是“最后一条记录的编号”。例如已提交 Offset 为 2,意味着恢复后应从 Offset 2 开始读,不是已经确认处理完 Offset 2。

用一个分区观察三个坐标分离
下面在一个干净的本地 Kafka Broker 上创建单分区 Topic,写入 5 条记录。脚本先消费 1 条以创建消费组并完成一次提交,待组退出后再把已提交 Offset 重置到 2;随后读取 Offset 2 的一条消息但关闭自动提交,因此进程内位置会推进到 3,而组的提交位置仍停在 2。
BOOTSTRAP="localhost:9092"
TOPIC="offset-coordinate-demo"
GROUP="offset-coordinate-demo-group"
kafka-topics.sh \
--bootstrap-server "$BOOTSTRAP" \
--create \
--topic "$TOPIC" \
--partitions 1 \
--replication-factor 1
printf 'm1\nm2\nm3\nm4\nm5\n' | \
kafka-console-producer.sh \
--bootstrap-server "$BOOTSTRAP" \
--topic "$TOPIC"
kafka-console-consumer.sh \
--bootstrap-server "$BOOTSTRAP" \
--topic "$TOPIC" \
--group "$GROUP" \
--from-beginning \
--max-messages 1 \
--consumer-property enable.auto.commit=true \
--consumer-property auto.commit.interval.ms=1 \
>/dev/null
kafka-consumer-groups.sh \
--bootstrap-server "$BOOTSTRAP" \
--group "$GROUP" \
--topic "$TOPIC:0" \
--reset-offsets \
--to-offset 2 \
--execute
kafka-get-offsets.sh \
--bootstrap-server "$BOOTSTRAP" \
--topic "$TOPIC" \
--time -1
kafka-console-consumer.sh \
--bootstrap-server "$BOOTSTRAP" \
--topic "$TOPIC" \
--group "$GROUP" \
--max-messages 1 \
--consumer-property enable.auto.commit=false \
--property print.offset=true
kafka-consumer-groups.sh \
--bootstrap-server "$BOOTSTRAP" \
--group "$GROUP" \
--describe预期输出的关键行如下;创建 Topic、第一次消费和重置命令还会产生少量提示文本,成员 ID 与主机地址可能因环境不同而变化。
GROUP TOPIC PARTITION NEW-OFFSET
offset-coordinate-demo-group offset-coordinate-demo 0 2
offset-coordinate-demo:0:5
Offset:2 m3
GROUP TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG
offset-coordinate-demo-group offset-coordinate-demo 0 2 5 3这里消费者读完 Offset 2 后,实例内的下一读取位置已经是 3;但因为没有提交,kafka-consumer-groups.sh 仍显示 2。尤其要注意,该命令的 CURRENT-OFFSET 列指的是消费组已提交 Offset,并不是某个活跃消费者进程此刻的 Current Position。
Lag 是恢复视角,不是进程内进度条
消费组常见的分区 Lag 可以近似写成:
因此消费者已经拉取、甚至已经处理了一批消息,只要还没有提交,Lag 仍可能保持较高。这个数值更接近“如果现在发生故障,还需要从恢复点重放多少位置”,而不是“当前进程内还有多少条尚未处理”。
反过来,如果应用错误地在业务处理完成前就提交 Offset,Lag 可能很低,但进程崩溃后这些已提交、未完成处理的记录不会自动重放。低 Lag 不能替代正确的提交时机。
用三个坐标判断重复与丢失风险
发生崩溃或 Rebalance 时,新消费者通常从 Committed Offset 恢复。若 Current Position 已经推进到更后面,但提交点还没跟上,那么两者之间的记录可能被再次读取,这就是典型的至少一次语义下的重复处理来源。
判断问题时可以固定同一 Partition,依次问三个问题:LEO 是否还在增长、Committed Offset 是否持续推进、活跃消费者的处理位置是否明显领先于提交点。只看一个 Lag 数字,无法区分“生产突然变快”“消费者处理变慢”“提交停滞”这几类完全不同的问题。