消息队列 / 系统课时
完成首次生产与消费
完成首次生产与消费
本节搭建一个最小可验证的 Kafka 消息闭环:创建单分区 Topic,用控制台生产者写入三条消息,再由带消费组的控制台消费者读取,并检查已提交偏移量和 Lag。完成后你能把“消息位置”和“消费进度”对应起来。
学习目标
- 使用控制台生产者向 Kafka 写入消息,并用控制台消费者读取
- 理解分区内消息偏移量与消费组提交位置的区别
- 使用
kafka-consumer-groups.sh检查当前偏移量、日志末端偏移量和 Lag
准备单分区 Topic
为了让首次实验的消息顺序和偏移量容易观察,本节单独创建一个只有 1 个分区的 Topic,不依赖其他课时已经存在的资源。
export KAFKA_HOME=/opt/kafka
export BOOTSTRAP_SERVER=localhost:9092
"$KAFKA_HOME/bin/kafka-topics.sh" \
--bootstrap-server "$BOOTSTRAP_SERVER" \
--create \
--if-not-exists \
--topic cli.first-flow \
--partitions 1 \
--replication-factor 1 >/dev/null \
&& echo TOPIC_READY预期输出
TOPIC_READY单分区不是生产环境的通用建议,它只是让第一次观察更直观:三条记录会依次位于分区 0 的 offset 0、1、2。
写入三条消息
控制台生产者可以从标准输入逐行读取消息。用 printf 代替交互输入,可以保证实验可重复。
printf 'order-1001\norder-1002\norder-1003\n' | \
"$KAFKA_HOME/bin/kafka-console-producer.sh" \
--bootstrap-server "$BOOTSTRAP_SERVER" \
--topic cli.first-flow >/dev/null \
&& echo PRODUCE_OK预期输出
PRODUCE_OK生产成功后,Topic 的分区日志中已经有 3 条记录。每条记录都有自己的 offset;offset 是分区内的位置,不是全局消息编号。

消费并显示消息位置
使用一个新的消费组从头读取。auto.commit.interval.ms=1000 配合短暂等待,让控制台消费者有机会提交进度;print.partition 和 print.offset 用来直接显示每条消息所在位置。
"$KAFKA_HOME/bin/kafka-console-consumer.sh" \
--bootstrap-server "$BOOTSTRAP_SERVER" \
--topic cli.first-flow \
--group cli-first-group \
--from-beginning \
--timeout-ms 3500 \
--consumer-property auto.commit.interval.ms=1000 \
--property print.partition=true \
--property print.offset=true预期结果会包含下面三条记录;不同 Kafka 版本的字段分隔符和结束提示可能略有差异。
Partition:0 Offset:0 order-1001
Partition:0 Offset:1 order-1002
Partition:0 Offset:2 order-1003这里最后一条消息的 offset 是 2,但消费组成功提交后,CURRENT-OFFSET 应为 3,因为它记录的是下一条将要读取的位置。这也是很多初学者第一次查看消费组时最容易误解的地方。
检查消费组状态
消费者退出后,组内可能已经没有活跃成员,但已提交偏移量仍保存在 Kafka 中。用消费组命令查看进度。
"$KAFKA_HOME/bin/kafka-consumer-groups.sh" \
--bootstrap-server "$BOOTSTRAP_SERVER" \
--describe \
--group cli-first-group预期结果的关键数据如下,成员 ID、主机和额外提示会因版本与运行时状态而不同。
GROUP TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG
cli-first-group cli.first-flow 0 3 3 0CURRENT-OFFSET=3 表示组已经提交到下一读取位置 3;LOG-END-OFFSET=3 表示分区当前末端也在位置 3;两者相减得到 LAG=0,说明没有积压。若此时再生产两条消息而消费者不运行,日志末端会前进到 5,当前提交位置仍是 3,Lag 就会变成 2。
首次生产与消费的闭环可以用三件事验收:生产命令成功、消费者能读到预期消息、消费组的 CURRENT-OFFSET 与 LOG-END-OFFSET 能解释得通。后续排查“为什么没消费到消息”时,也应沿这三层逐级定位。