消息队列 / 系统课时
KRaft 元数据架构
KRaft 元数据架构
KRaft 把 Kafka 的集群元数据管理收回到 Kafka 自身:Controller 组成法定人数并复制元数据日志,Broker 专注处理分区数据与客户端请求。理解这些角色后,你就能判断集群 ID、节点身份和控制器故障分别会影响什么。
学习目标
- 说清 Controller Quorum、Broker 与元数据日志之间的职责边界。
- 理解
cluster.id、node.id与存储格式化之间的关系。 - 区分控制器法定人数与普通主题副本 ISR,避免把两套一致性机制混为一谈。
ZooKeeper 退出后发生了什么
ZooKeeper 模式下,Kafka 的部分集群元数据保存在外部 ZooKeeper 中,Kafka Controller 需要围绕这些数据完成控制面工作。KRaft 模式取消这层外部依赖,Controller 之间直接使用 Kafka 自身的 Raft 元数据日志达成一致。
元数据包括 Broker 注册、主题与分区定义、副本分配、配置变更等控制面状态。它与用户消息日志是两类不同数据:用户消息仍写入各主题分区,元数据则由 Controller Quorum 维护。

Controller Quorum 与 Broker 各做什么
Controller Quorum 是控制面的共识组。当前 Leader Controller 接收元数据变更并追加到元数据日志,Follower Controller 复制日志;只有达到多数派后,关键状态才被提交。三个投票 Controller 因而可以容忍一个 Controller 暂时不可用。
Broker 属于数据面,负责接收生产者写入、向消费者返回消息、保存主题分区副本,并依据已提交的集群元数据执行分区领导者、副本和配置等状态。一个进程可以同时承担 broker,controller 两种角色,但这种组合模式更适合本地测试;生产环境通常会把控制器与 Broker 分开部署。
| 对象 | 主要职责 | 关键故障影响 |
|---|---|---|
| Controller Quorum | 复制并提交集群元数据 | 失去多数派后无法正常推进控制面变更 |
| Broker | 处理客户端请求并保存主题数据 | 对应分区副本或领导者可能不可用 |
| 元数据日志 | 持久化控制面状态变化 | 决定各节点看到的集群状态 |
集群 ID、节点 ID 与元数据日志
cluster.id 标识整个 Kafka 集群,同一集群中的节点在存储格式化时必须使用同一个值。node.id 则标识当前 Kafka 节点,在集群内必须唯一;把两者写反会导致节点无法按预期加入集群。
KRaft 节点格式化存储目录后会写入包含集群身份与节点身份的信息。Controller 的元数据日志写入 metadata.log.dir 指定的位置;未显式配置时,会使用 log.dirs 中的一个目录。因此不要把“换一个空目录启动”当作普通重启,它可能变成一次新的存储初始化问题。
两套多数派不要混淆
Controller Quorum 的多数派用于提交集群元数据,而主题分区的副本同步由分区 Leader、Follower、ISR 和 min.insync.replicas 等机制控制。两者可能同时存在故障,但判断方法不同。
例如三 Controller 集群失去一个 Controller,仍有两个投票者,可以继续维持控制器多数派;某个三副本主题是否还能写入,则还要看该分区当前 ISR 和写入确认策略。排障时先问“这是控制面元数据问题,还是数据面副本问题”,能大幅缩小定位范围。
在 KRaft 架构中,可以把核心关系记成一句话:Controller Quorum 通过多数派维护元数据真相,Broker 按这份真相承载消息数据;所有节点共享一个集群 ID,但拥有各自唯一的节点 ID。