消息队列 / 系统课时

区分消费位置与已提交 Offset

区分消费位置与已提交 Offset

分析 Kafka 积压、重复消费和故障恢复时,先要把三个坐标分开:消费者当前准备读到哪里、消费组已经确认到哪里、分区最新写到哪里。混用这三个 Offset,会直接导致 Lag、恢复点和数据安全判断失真。

学习目标

  • 区分当前消费位置、已提交 Offset 与 Log End Offset 的含义
  • 用三个坐标解释 Lag、重复处理和恢复起点
  • 识别 kafka-consumer-groups.sh 中 CURRENT-OFFSET 的真实含义

三个 Offset 对应三种不同状态

对某个 Topic Partition 来说,当前消费位置是消费者实例下一次 poll() 继续读取的位置;已提交 Offset 是消费组存放在 Kafka 中的恢复点;Log End Offset(LEO) 是 Broker 端该分区下一条新消息将获得的 Offset。

坐标 谁维护 什么时候变化 主要用途
Current Position 消费者实例 拉取并推进位置时 判断当前进程已经读到哪里
Committed Offset 消费组协调相关状态 自动或手动提交时 Rebalance、重启后的恢复起点
Log End Offset Broker 分区日志 新记录追加成功时 判断分区最新写入位置

三个值都表示“下一条记录的位置”,而不是“最后一条记录的编号”。例如已提交 Offset 为 2,意味着恢复后应从 Offset 2 开始读,不是已经确认处理完 Offset 2。

消费位置、提交位置与日志末端的关系

用一个分区观察三个坐标分离

下面在一个干净的本地 Kafka Broker 上创建单分区 Topic,写入 5 条记录。脚本先消费 1 条以创建消费组并完成一次提交,待组退出后再把已提交 Offset 重置到 2;随后读取 Offset 2 的一条消息但关闭自动提交,因此进程内位置会推进到 3,而组的提交位置仍停在 2。

bash
BOOTSTRAP="localhost:9092"
TOPIC="offset-coordinate-demo"
GROUP="offset-coordinate-demo-group"

kafka-topics.sh \
  --bootstrap-server "$BOOTSTRAP" \
  --create \
  --topic "$TOPIC" \
  --partitions 1 \
  --replication-factor 1

printf 'm1\nm2\nm3\nm4\nm5\n' | \
  kafka-console-producer.sh \
  --bootstrap-server "$BOOTSTRAP" \
  --topic "$TOPIC"

kafka-console-consumer.sh \
  --bootstrap-server "$BOOTSTRAP" \
  --topic "$TOPIC" \
  --group "$GROUP" \
  --from-beginning \
  --max-messages 1 \
  --consumer-property enable.auto.commit=true \
  --consumer-property auto.commit.interval.ms=1 \
  >/dev/null

kafka-consumer-groups.sh \
  --bootstrap-server "$BOOTSTRAP" \
  --group "$GROUP" \
  --topic "$TOPIC:0" \
  --reset-offsets \
  --to-offset 2 \
  --execute

kafka-get-offsets.sh \
  --bootstrap-server "$BOOTSTRAP" \
  --topic "$TOPIC" \
  --time -1

kafka-console-consumer.sh \
  --bootstrap-server "$BOOTSTRAP" \
  --topic "$TOPIC" \
  --group "$GROUP" \
  --max-messages 1 \
  --consumer-property enable.auto.commit=false \
  --property print.offset=true

kafka-consumer-groups.sh \
  --bootstrap-server "$BOOTSTRAP" \
  --group "$GROUP" \
  --describe

预期输出的关键行如下;创建 Topic、第一次消费和重置命令还会产生少量提示文本,成员 ID 与主机地址可能因环境不同而变化。

text
GROUP                         TOPIC                   PARTITION  NEW-OFFSET
offset-coordinate-demo-group  offset-coordinate-demo  0          2
offset-coordinate-demo:0:5
Offset:2    m3

GROUP                         TOPIC                   PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG
offset-coordinate-demo-group  offset-coordinate-demo  0          2               5               3

这里消费者读完 Offset 2 后,实例内的下一读取位置已经是 3;但因为没有提交,kafka-consumer-groups.sh 仍显示 2。尤其要注意,该命令的 CURRENT-OFFSET 列指的是消费组已提交 Offset,并不是某个活跃消费者进程此刻的 Current Position。

Lag 是恢复视角,不是进程内进度条

消费组常见的分区 Lag 可以近似写成:

Lag=LEO−CommittedOffsetLag = LEO - CommittedOffset

因此消费者已经拉取、甚至已经处理了一批消息,只要还没有提交,Lag 仍可能保持较高。这个数值更接近“如果现在发生故障,还需要从恢复点重放多少位置”,而不是“当前进程内还有多少条尚未处理”。

反过来,如果应用错误地在业务处理完成前就提交 Offset,Lag 可能很低,但进程崩溃后这些已提交、未完成处理的记录不会自动重放。低 Lag 不能替代正确的提交时机。

用三个坐标判断重复与丢失风险

发生崩溃或 Rebalance 时,新消费者通常从 Committed Offset 恢复。若 Current Position 已经推进到更后面,但提交点还没跟上,那么两者之间的记录可能被再次读取,这就是典型的至少一次语义下的重复处理来源。

判断问题时可以固定同一 Partition,依次问三个问题:LEO 是否还在增长、Committed Offset 是否持续推进、活跃消费者的处理位置是否明显领先于提交点。只看一个 Lag 数字,无法区分“生产突然变快”“消费者处理变慢”“提交停滞”这几类完全不同的问题。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

区分消费位置与已提交 Offset

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通