服务注册与分布式协调 / 系统课时

用 Kerberos 认证集群成员

用 Kerberos 认证集群成员

本节把 ZooKeeper 的节点间通信从“能连上端口就参与选举”提升为 Kerberos 身份校验:为每个成员准备独立主体和 keytab,配置 JAAS 与 quorum SASL,并用严格模式确认没有合法主体的节点无法加入集群。

学习目标

  • 为每个 ZooKeeper 成员规划主机型 Kerberos 主体并校验 keytab 内容。
  • 配置 QuorumServer、QuorumLearner 与 quorum SASL 参数。
  • 按安全顺序启用强制认证,并验证合法成员可入群、非法成员被拒绝。

节点身份如何对应

一个 ZooKeeper 进程既可能主动连接其他成员,也可能接受其他成员连接,因此同一节点同时承担 learner 与 server 两种认证角色。服务端主体建议采用 zkquorum/<HOST>@EXAMPLE.COM,learner 再使用独立的 learner/<HOST>@EXAMPLE.COM;其中 <HOST> 必须是 server.x 中可解析的 FQDN。

当 quorum.auth.kerberos.servicePrincipal=zkquorum/_HOST 时,ZooKeeper 会把远端 server.x 的 FQDN 代入 _HOST,向 KDC 获取对应服务票据。使用主机型主体后,接收端还能把认证得到的主机名与成员列表比对,从而拒绝不在集群配置中的身份。

Kerberos 认证 ZooKeeper 成员的交互关系

准备主体与 keytab

下面以 MIT Kerberos 和三节点域名 zk1.example.com、zk2.example.com、zk3.example.com 为例。生产环境应由 Kerberos 管理员在 KDC 上创建主体,并把每个节点自己的 keytab 通过受控渠道分发到该节点;keytab 等同于长期凭据,不应在节点间共用。

片段示例:以下命令运行在 kadmin.local 会话中,<PATH> 替换为 KDC 上的临时导出目录。

text
addprinc -randkey zkquorum/zk1.example.com@EXAMPLE.COM
addprinc -randkey learner/zk1.example.com@EXAMPLE.COM
ktadd -k <PATH>/zk1.keytab zkquorum/zk1.example.com@EXAMPLE.COM
ktadd -k <PATH>/zk1.keytab learner/zk1.example.com@EXAMPLE.COM
addprinc -randkey zkquorum/zk2.example.com@EXAMPLE.COM
addprinc -randkey learner/zk2.example.com@EXAMPLE.COM
ktadd -k <PATH>/zk2.keytab zkquorum/zk2.example.com@EXAMPLE.COM
ktadd -k <PATH>/zk2.keytab learner/zk2.example.com@EXAMPLE.COM
addprinc -randkey zkquorum/zk3.example.com@EXAMPLE.COM
addprinc -randkey learner/zk3.example.com@EXAMPLE.COM
ktadd -k <PATH>/zk3.keytab zkquorum/zk3.example.com@EXAMPLE.COM
ktadd -k <PATH>/zk3.keytab learner/zk3.example.com@EXAMPLE.COM

分发前可用 klist 做一次机器可判定的检查。以下命令在替换 <PATH> 后可执行。

bash
set -e
for host in zk1.example.com zk2.example.com zk3.example.com; do
  keytab="<PATH>/${host%%.*}.keytab"
  klist -k "$keytab" | grep -q "zkquorum/${host}@EXAMPLE.COM"
  klist -k "$keytab" | grep -q "learner/${host}@EXAMPLE.COM"
done
echo KEYTABS_OK

预期输出

text
KEYTABS_OK

编写 JAAS 并让进程加载它

每台机器的 JAAS 文件使用本机 FQDN,不能把另一节点的主体复制过来。下面是 zk1.example.com 的模板;在其他节点上同时替换 <HOST> 与 keytab 路径。

text
QuorumServer {
  com.sun.security.auth.module.Krb5LoginModule required
  useKeyTab=true
  keyTab="<PATH>/zkquorum.keytab"
  storeKey=true
  useTicketCache=false
  debug=false
  principal="zkquorum/<HOST>@EXAMPLE.COM";
};

QuorumLearner {
  com.sun.security.auth.module.Krb5LoginModule required
  useKeyTab=true
  keyTab="<PATH>/zkquorum.keytab"
  storeKey=true
  useTicketCache=false
  debug=false
  principal="learner/<HOST>@EXAMPLE.COM";
};

QuorumServer 的服务主体负责接收并验证入站认证,QuorumLearner 的主体代表本节点发起连接。两者可存放在同一个受限 keytab 中,但文件权限应只允许 ZooKeeper 运行账号读取。

片段示例:在 conf/java.env 中把 JAAS 文件交给 ZooKeeper JVM。

bash
export SERVER_JVMFLAGS="-Djava.security.auth.login.config=<PATH>/quorum-jaas.conf ${SERVER_JVMFLAGS:-}"

这段配置本身不会产生控制台输出。启动时若 JAAS 路径、主体或 keytab 不可读,节点会在建立 quorum 连接前失败,应先修正本机身份材料再继续。

启用 quorum SASL

三台节点的 zoo.cfg 必须使用一致的成员列表,并用 FQDN 写 server.x,否则 _HOST 无法稳定映射到 Kerberos 主体。

properties
server.1=zk1.example.com:2888:3888
server.2=zk2.example.com:2888:3888
server.3=zk3.example.com:2888:3888

quorum.auth.enableSasl=true
quorum.auth.learnerRequireSasl=true
quorum.auth.serverRequireSasl=true
quorum.auth.learner.saslLoginContext=QuorumLearner
quorum.auth.server.saslLoginContext=QuorumServer
quorum.auth.kerberos.servicePrincipal=zkquorum/_HOST
quorum.cnxn.threads.size=20

已有明文集群不要一次性把三个开关同时推到严格值。滚动迁移时先只启用 quorum.auth.enableSasl=true,确认全部节点重启正常;再滚动启用 quorum.auth.learnerRequireSasl=true;最后才启用 quorum.auth.serverRequireSasl=true。后一个开关要求前一个已经开启,否则会让仍未发送认证包的成员被立即拒绝。

验证合法与非法成员

每轮滚动重启后,都应确认节点实际进入 leader、follower 或 observer 状态,而不是只看进程是否存在。下面的检查把不同角色统一归一为一个确定输出。

bash
if bin/zkServer.sh status 2>/dev/null | grep -Eq '^Mode: (leader|follower|observer)$'; then
  echo QUORUM_OK
else
  echo QUORUM_NOT_READY
  exit 1
fi

预期输出

text
QUORUM_OK

随后可在仍能保持多数派的节点上做一次负向验证:把待测节点的 JAAS 临时指向一个不包含其 learner/<HOST>@EXAMPLE.COM 的 keytab,重启该节点,再执行下面的判定。测试结束后立即恢复正确 keytab。

bash
if bin/zkServer.sh status 2>/dev/null | grep -Eq '^Mode: (leader|follower|observer)$'; then
  echo UNEXPECTED_JOIN
  exit 1
else
  echo AUTH_BLOCKED
fi

预期输出

text
AUTH_BLOCKED

最终状态应同时满足两点:合法主体节点可以正常形成 quorum,而缺少正确 Kerberos 主体的节点即使网络可达,也不能完成节点间 SASL 认证并成为集群成员。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 Kerberos 认证集群成员

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通