消息队列 / 系统课时
迁移到 Consumer Group Protocol
迁移到 Consumer Group Protocol
这节给出一条可回退的生产迁移路径:先把客户端能力和分配策略对齐,再按成员滚动启用 Consumer Group Protocol,持续观察组类型、Lag 与 Rebalance,最后才扩大范围。以下以 Apache Kafka 4.3 的 Java KafkaConsumer 为基线。
学习目标
- 识别 Classic 与 Consumer 协议之间不能直接照搬的客户端配置
- 按“能力升级 → 小流量切换 → 全组收敛”的顺序完成在线迁移
- 设计可执行的观测闸门和回退条件,避免一次性切换整个消费组
迁移前先消除不兼容项
Kafka 4.0 起新协议已达到 GA,但客户端默认仍是 classic。新协议把心跳、会话超时和分区分配的更多控制权移到 broker:启用 group.protocol=consumer 后,客户端的 heartbeat.interval.ms、session.timeout.ms、partition.assignment.strategy 不再适用,分配器改由 broker 的 group.consumer.assignors 提供,客户端可用 group.remote.assignor 选择其中一个。
先把每个目标组按以下清单过一遍:所有成员先升级到支持新协议的同一代客户端,但仍保持 Classic;确认集群的 group.version 已启用;确认 broker 的 group.consumer.migration.policy 允许升级和计划中的回退;排除依赖自定义客户端 assignor 元数据的组。Kafka 4.3 内置映射可按下表迁移。
| Classic 客户端 assignor | Consumer 协议建议 |
|---|---|
RangeAssignor |
range |
CooperativeStickyAssignor |
uniform |
StickyAssignor |
uniform |
RoundRobinAssignor |
uniform |
把配置变化做成单独发布
不要把业务代码升级、线程模型调整、批量参数调优和协议切换放在同一个发布里。第一轮只升级客户端版本并保持 group.protocol=classic;基线稳定后,第二轮才启用新协议。这样出现回归时,变量只有协议与对应分配器。
下面是迁移发布中的核心配置片段;group.id 必须保持不变,才能沿用原有 committed offsets。
bootstrap.servers=<BOOTSTRAP_SERVER>
group.id=<GROUP_ID>
group.protocol=consumer
group.remote.assignor=uniform
enable.auto.commit=false这段配置生效后,客户端使用 Consumer Group Protocol,并请求 broker 端的 uniform assignor。不要再同时配置 heartbeat.interval.ms、session.timeout.ms 或 partition.assignment.strategy。验证时应同时检查组类型、成员数、分区分配和 committed lag,而不是只看进程是否存活。

用金丝雀验证混合阶段
在线迁移不是“所有实例同时改配置”。先只替换一个成员,新成员以 consumer 加入后,组会转换为 Consumer 类型,尚未升级协议的 Classic 成员由协调器兼容。此时最重要的是确认分区没有长时间无人持有、Lag 没有持续发散,并且失败 Rebalance 没有上升。
在 Kafka 4.3 中可以用统一的 group 工具确认组类型:
bin/kafka-groups.sh --bootstrap-server '<BOOTSTRAP_SERVER>' --list | grep '<GROUP_ID>'预期输出
<GROUP_ID> Consumer consumer列间空格与实际组名会不同。看到 Consumer consumer 只说明协议类型已经转换,不代表迁移成功;还要继续核对成员数、业务处理成功率、committed lag、rebalance-rate-per-hour 与 failed-rebalance-rate-per-hour。
扩大范围并保留回退窗口
金丝雀通过后再按小批次滚动剩余成员,每批之间至少跨过一个正常业务观察窗口。全组切换完成后再做性能参数调优,否则无法判断收益来自新协议还是来自其他配置变化。
回退与升级方向相反:将已切换成员逐批恢复为 group.protocol=classic,并恢复 Classic 所需的 assignor 与超时配置。当最后一个 Consumer 协议成员离开后,组会回到 Classic;这要求 group.consumer.migration.policy 允许 downgrade。回退期间不要删除消费组或更换 group.id,否则会把“协议回退”变成“新组重新消费”的另一类风险。
迁移完成的判据不是“部署成功”,而是新协议下连续多个观察窗口都满足原有消费稳定性目标,并且扩大实例数、发布重启等常见成员变化不再造成明显的停顿或 Lag 放大。