消息队列 / 系统课时
理解 Consumer Group Protocol
理解 Consumer Group Protocol
Kafka 4.0 起新的 Consumer Group Protocol 已进入生产可用阶段,但 Java Consumer 仍需显式选择 group.protocol=consumer。它不是换一个 assignor,而是重新划分心跳、分配与协调职责:成员持续汇报状态,协调器在服务端计算目标分配,并按成员增量推进变更。
学习目标
- 说清 Classic 与 Consumer 协议在协调职责上的差异
- 理解服务端分配和增量心跳如何降低全组同步成本
- 正确区分客户端参数与 broker 侧治理参数
从全组屏障转向按成员推进
Classic 协议中,成员通过 JoinGroup 汇总订阅信息,协调器选择一个组 leader,再由该客户端运行 partition.assignment.strategy 计算全组分配,最后通过 SyncGroup 把结果同步给成员。即使使用 cooperative assignor,分配逻辑本身仍在客户端一侧。
Consumer Group Protocol 改为成员周期性发送 ConsumerGroupHeartbeat,协调器持续维护成员订阅、当前分配与目标分配,并在服务端运行 assignor。成员不再等待一次全组 Join/Sync 屏障完成后才统一前进,而是从心跳响应中逐步收到需要撤销或新增的分区,因此协调过程是完全增量的。
当某个分区需要从 C1 转给 C3 时,协调器先要求 C1 撤销;确认旧所有权释放后,后续心跳再把该分区加入 C3 的分配。未涉及迁移的 C2 可以保持自己的分区继续工作。

客户端只选择协议和可选的服务端 assignor
Kafka 4.3 中,客户端要显式把 group.protocol 设为 consumer。如果不指定 group.remote.assignor,协调器会选择 broker 配置 group.consumer.assignors 中排在首位的 assignor;默认列表是 uniform,range,因此默认选择 uniform。
bootstrap.servers=localhost:9092
group.id=orders-cg
group.protocol=consumer
group.remote.assignor=uniform
enable.auto.commit=false这里不要再配置 partition.assignment.strategy。在 Consumer 协议下,heartbeat.interval.ms、session.timeout.ms 和 partition.assignment.strategy 都不是可用的客户端治理入口,enforceRebalance() 也不适用于该协议。
启动消费者后,可以先确认组类型和协议,再查看稳定状态下的分配策略:
bin/kafka-groups.sh --bootstrap-server localhost:9092 --list
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group orders-cg --state预期输出
GROUP TYPE PROTOCOL
orders-cg Consumer consumer
COORDINATOR (ID) ASSIGNMENT-STRATEGY STATE #MEMBERS
<HOST>:<PORT> (<ID>) uniform Stable 3实际环境可能还有其他组,<HOST>、<PORT>、<ID> 和成员数也会不同。关键检查点是 orders-cg 使用 consumer 协议,并在稳定时由服务端 assignor 产生分配。
心跳和会话超时改由 broker 治理
新协议把一部分过去由应用自行调节的参数收回到集群侧。典型 broker 配置如下,属于配置片段,具体值应按故障检测目标和集群规模评估:
group.consumer.assignors=uniform,range
group.consumer.heartbeat.interval.ms=5000
group.consumer.session.timeout.ms=45000group.consumer.heartbeat.interval.ms 决定协调器要求成员发送心跳的节奏,group.consumer.session.timeout.ms 决定多久未收到有效心跳后判定成员失效。这样平台团队可以统一治理故障检测窗口,而不是让每个应用独立设置 heartbeat.interval.ms 和 session.timeout.ms。
group.remote.assignor 只是从 broker 已允许的服务端 assignor 中做选择,不会把分配算法重新搬回客户端。如果团队有自定义客户端 ConsumerPartitionAssignor,迁移前必须确认是否已有等价的服务端策略;新协议当前不支持沿用客户端 assignor。
迁移时先决定停机还是滚动
最容易验证的是离线迁移:先让组变空,再把所有成员改为 group.protocol=consumer 后启动。空组可以在 Classic 与 Consumer 类型之间转换,故障边界清楚,适合首次验证。
Kafka 4.x 也支持在线滚动升级,但前提是 broker 允许相应迁移,并且原 Classic 组使用的 assignor 没有嵌入无法互操作的自定义元数据。生产切换前应同时核对 group.consumer.migration.policy、客户端版本和现有 assignor,而不是只修改一个客户端参数。
治理上可以记住一条边界:Classic 主要由客户端选择分配器和心跳参数;Consumer Protocol 把分配、心跳节奏和会话超时更多集中到协调器与 broker。它减少的是协调屏障和参数分散,不会替代对 max.poll.interval.ms、处理延迟、积压和成员稳定性的日常治理。