消息队列 / 系统课时

KRaft 元数据架构

KRaft 元数据架构

KRaft 把 Kafka 的集群元数据管理收回到 Kafka 自身:Controller 组成法定人数并复制元数据日志,Broker 专注处理分区数据与客户端请求。理解这些角色后,你就能判断集群 ID、节点身份和控制器故障分别会影响什么。

学习目标

  • 说清 Controller Quorum、Broker 与元数据日志之间的职责边界。
  • 理解 cluster.id、node.id 与存储格式化之间的关系。
  • 区分控制器法定人数与普通主题副本 ISR,避免把两套一致性机制混为一谈。

ZooKeeper 退出后发生了什么

ZooKeeper 模式下,Kafka 的部分集群元数据保存在外部 ZooKeeper 中,Kafka Controller 需要围绕这些数据完成控制面工作。KRaft 模式取消这层外部依赖,Controller 之间直接使用 Kafka 自身的 Raft 元数据日志达成一致。

元数据包括 Broker 注册、主题与分区定义、副本分配、配置变更等控制面状态。它与用户消息日志是两类不同数据:用户消息仍写入各主题分区,元数据则由 Controller Quorum 维护。

KRaft 控制器法定人数、Broker 与元数据日志关系

Controller Quorum 与 Broker 各做什么

Controller Quorum 是控制面的共识组。当前 Leader Controller 接收元数据变更并追加到元数据日志,Follower Controller 复制日志;只有达到多数派后,关键状态才被提交。三个投票 Controller 因而可以容忍一个 Controller 暂时不可用。

Broker 属于数据面,负责接收生产者写入、向消费者返回消息、保存主题分区副本,并依据已提交的集群元数据执行分区领导者、副本和配置等状态。一个进程可以同时承担 broker,controller 两种角色,但这种组合模式更适合本地测试;生产环境通常会把控制器与 Broker 分开部署。

对象 主要职责 关键故障影响
Controller Quorum 复制并提交集群元数据 失去多数派后无法正常推进控制面变更
Broker 处理客户端请求并保存主题数据 对应分区副本或领导者可能不可用
元数据日志 持久化控制面状态变化 决定各节点看到的集群状态

集群 ID、节点 ID 与元数据日志

cluster.id 标识整个 Kafka 集群,同一集群中的节点在存储格式化时必须使用同一个值。node.id 则标识当前 Kafka 节点,在集群内必须唯一;把两者写反会导致节点无法按预期加入集群。

KRaft 节点格式化存储目录后会写入包含集群身份与节点身份的信息。Controller 的元数据日志写入 metadata.log.dir 指定的位置;未显式配置时,会使用 log.dirs 中的一个目录。因此不要把“换一个空目录启动”当作普通重启,它可能变成一次新的存储初始化问题。

两套多数派不要混淆

Controller Quorum 的多数派用于提交集群元数据,而主题分区的副本同步由分区 Leader、Follower、ISR 和 min.insync.replicas 等机制控制。两者可能同时存在故障,但判断方法不同。

例如三 Controller 集群失去一个 Controller,仍有两个投票者,可以继续维持控制器多数派;某个三副本主题是否还能写入,则还要看该分区当前 ISR 和写入确认策略。排障时先问“这是控制面元数据问题,还是数据面副本问题”,能大幅缩小定位范围。

在 KRaft 架构中,可以把核心关系记成一句话:Controller Quorum 通过多数派维护元数据真相,Broker 按这份真相承载消息数据;所有节点共享一个集群 ID,但拥有各自唯一的节点 ID。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

KRaft 元数据架构

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通