消息队列 / 系统课时

理解 Consumer Group Protocol

理解 Consumer Group Protocol

Kafka 4.0 起新的 Consumer Group Protocol 已进入生产可用阶段,但 Java Consumer 仍需显式选择 group.protocol=consumer。它不是换一个 assignor,而是重新划分心跳、分配与协调职责:成员持续汇报状态,协调器在服务端计算目标分配,并按成员增量推进变更。

学习目标

  • 说清 Classic 与 Consumer 协议在协调职责上的差异
  • 理解服务端分配和增量心跳如何降低全组同步成本
  • 正确区分客户端参数与 broker 侧治理参数

从全组屏障转向按成员推进

Classic 协议中,成员通过 JoinGroup 汇总订阅信息,协调器选择一个组 leader,再由该客户端运行 partition.assignment.strategy 计算全组分配,最后通过 SyncGroup 把结果同步给成员。即使使用 cooperative assignor,分配逻辑本身仍在客户端一侧。

Consumer Group Protocol 改为成员周期性发送 ConsumerGroupHeartbeat,协调器持续维护成员订阅、当前分配与目标分配,并在服务端运行 assignor。成员不再等待一次全组 Join/Sync 屏障完成后才统一前进,而是从心跳响应中逐步收到需要撤销或新增的分区,因此协调过程是完全增量的。

当某个分区需要从 C1 转给 C3 时,协调器先要求 C1 撤销;确认旧所有权释放后,后续心跳再把该分区加入 C3 的分配。未涉及迁移的 C2 可以保持自己的分区继续工作。

Classic 与 Consumer Group Protocol 协调链路对比

客户端只选择协议和可选的服务端 assignor

Kafka 4.3 中,客户端要显式把 group.protocol 设为 consumer。如果不指定 group.remote.assignor,协调器会选择 broker 配置 group.consumer.assignors 中排在首位的 assignor;默认列表是 uniform,range,因此默认选择 uniform。

properties
bootstrap.servers=localhost:9092
group.id=orders-cg
group.protocol=consumer
group.remote.assignor=uniform
enable.auto.commit=false

这里不要再配置 partition.assignment.strategy。在 Consumer 协议下,heartbeat.interval.ms、session.timeout.ms 和 partition.assignment.strategy 都不是可用的客户端治理入口,enforceRebalance() 也不适用于该协议。

启动消费者后,可以先确认组类型和协议,再查看稳定状态下的分配策略:

bash
bin/kafka-groups.sh --bootstrap-server localhost:9092 --list
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group orders-cg --state

预期输出

text
GROUP      TYPE      PROTOCOL
orders-cg  Consumer  consumer

COORDINATOR (ID)       ASSIGNMENT-STRATEGY  STATE   #MEMBERS
<HOST>:<PORT> (<ID>)   uniform              Stable  3

实际环境可能还有其他组,<HOST>、<PORT>、<ID> 和成员数也会不同。关键检查点是 orders-cg 使用 consumer 协议,并在稳定时由服务端 assignor 产生分配。

心跳和会话超时改由 broker 治理

新协议把一部分过去由应用自行调节的参数收回到集群侧。典型 broker 配置如下,属于配置片段,具体值应按故障检测目标和集群规模评估:

properties
group.consumer.assignors=uniform,range
group.consumer.heartbeat.interval.ms=5000
group.consumer.session.timeout.ms=45000

group.consumer.heartbeat.interval.ms 决定协调器要求成员发送心跳的节奏,group.consumer.session.timeout.ms 决定多久未收到有效心跳后判定成员失效。这样平台团队可以统一治理故障检测窗口,而不是让每个应用独立设置 heartbeat.interval.ms 和 session.timeout.ms。

group.remote.assignor 只是从 broker 已允许的服务端 assignor 中做选择,不会把分配算法重新搬回客户端。如果团队有自定义客户端 ConsumerPartitionAssignor,迁移前必须确认是否已有等价的服务端策略;新协议当前不支持沿用客户端 assignor。

迁移时先决定停机还是滚动

最容易验证的是离线迁移:先让组变空,再把所有成员改为 group.protocol=consumer 后启动。空组可以在 Classic 与 Consumer 类型之间转换,故障边界清楚,适合首次验证。

Kafka 4.x 也支持在线滚动升级,但前提是 broker 允许相应迁移,并且原 Classic 组使用的 assignor 没有嵌入无法互操作的自定义元数据。生产切换前应同时核对 group.consumer.migration.policy、客户端版本和现有 assignor,而不是只修改一个客户端参数。

治理上可以记住一条边界:Classic 主要由客户端选择分配器和心跳参数;Consumer Protocol 把分配、心跳节奏和会话超时更多集中到协调器与 broker。它减少的是协调屏障和参数分散,不会替代对 max.poll.interval.ms、处理延迟、积压和成员稳定性的日常治理。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

理解 Consumer Group Protocol

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通