消息队列 / 系统课时

完成首次生产与消费

完成首次生产与消费

本节搭建一个最小可验证的 Kafka 消息闭环:创建单分区 Topic,用控制台生产者写入三条消息,再由带消费组的控制台消费者读取,并检查已提交偏移量和 Lag。完成后你能把“消息位置”和“消费进度”对应起来。

学习目标

  • 使用控制台生产者向 Kafka 写入消息,并用控制台消费者读取
  • 理解分区内消息偏移量与消费组提交位置的区别
  • 使用 kafka-consumer-groups.sh 检查当前偏移量、日志末端偏移量和 Lag

准备单分区 Topic

为了让首次实验的消息顺序和偏移量容易观察,本节单独创建一个只有 1 个分区的 Topic,不依赖其他课时已经存在的资源。

bash
export KAFKA_HOME=/opt/kafka
export BOOTSTRAP_SERVER=localhost:9092

"$KAFKA_HOME/bin/kafka-topics.sh" \
  --bootstrap-server "$BOOTSTRAP_SERVER" \
  --create \
  --if-not-exists \
  --topic cli.first-flow \
  --partitions 1 \
  --replication-factor 1 >/dev/null \
  && echo TOPIC_READY

预期输出

text
TOPIC_READY

单分区不是生产环境的通用建议,它只是让第一次观察更直观:三条记录会依次位于分区 0 的 offset 0、1、2。

写入三条消息

控制台生产者可以从标准输入逐行读取消息。用 printf 代替交互输入,可以保证实验可重复。

bash
printf 'order-1001\norder-1002\norder-1003\n' | \
"$KAFKA_HOME/bin/kafka-console-producer.sh" \
  --bootstrap-server "$BOOTSTRAP_SERVER" \
  --topic cli.first-flow >/dev/null \
  && echo PRODUCE_OK

预期输出

text
PRODUCE_OK

生产成功后,Topic 的分区日志中已经有 3 条记录。每条记录都有自己的 offset;offset 是分区内的位置,不是全局消息编号。

生产、分区偏移量与消费组提交位置关系

消费并显示消息位置

使用一个新的消费组从头读取。auto.commit.interval.ms=1000 配合短暂等待,让控制台消费者有机会提交进度;print.partition 和 print.offset 用来直接显示每条消息所在位置。

bash
"$KAFKA_HOME/bin/kafka-console-consumer.sh" \
  --bootstrap-server "$BOOTSTRAP_SERVER" \
  --topic cli.first-flow \
  --group cli-first-group \
  --from-beginning \
  --timeout-ms 3500 \
  --consumer-property auto.commit.interval.ms=1000 \
  --property print.partition=true \
  --property print.offset=true

预期结果会包含下面三条记录;不同 Kafka 版本的字段分隔符和结束提示可能略有差异。

text
Partition:0  Offset:0  order-1001
Partition:0  Offset:1  order-1002
Partition:0  Offset:2  order-1003

这里最后一条消息的 offset 是 2,但消费组成功提交后,CURRENT-OFFSET 应为 3,因为它记录的是下一条将要读取的位置。这也是很多初学者第一次查看消费组时最容易误解的地方。

检查消费组状态

消费者退出后,组内可能已经没有活跃成员,但已提交偏移量仍保存在 Kafka 中。用消费组命令查看进度。

bash
"$KAFKA_HOME/bin/kafka-consumer-groups.sh" \
  --bootstrap-server "$BOOTSTRAP_SERVER" \
  --describe \
  --group cli-first-group

预期结果的关键数据如下,成员 ID、主机和额外提示会因版本与运行时状态而不同。

text
GROUP            TOPIC           PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG
cli-first-group  cli.first-flow  0          3               3               0

CURRENT-OFFSET=3 表示组已经提交到下一读取位置 3;LOG-END-OFFSET=3 表示分区当前末端也在位置 3;两者相减得到 LAG=0,说明没有积压。若此时再生产两条消息而消费者不运行,日志末端会前进到 5,当前提交位置仍是 3,Lag 就会变成 2。

首次生产与消费的闭环可以用三件事验收:生产命令成功、消费者能读到预期消息、消费组的 CURRENT-OFFSET 与 LOG-END-OFFSET 能解释得通。后续排查“为什么没消费到消息”时,也应沿这三层逐级定位。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

完成首次生产与消费

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通