服务注册与分布式协调 / 系统课时

集群内部通信加密

集群内部通信加密

本节把 ZooKeeper 节点间的选举与仲裁通信迁移到 TLS,处理滚动升级期间的新旧节点兼容。完成后,你会掌握 sslQuorum 与 portUnification 的启用顺序,并知道为什么端口变更应与 TLS 切换分开执行。

学习目标

  • 配置 Quorum TLS 的节点证书、密钥库和信任库
  • 按兼容阶段滚动启用 TLS,避免一次性中断多数派
  • 区分协议迁移与 quorum/election 端口迁移的边界

Quorum TLS 加密什么

Quorum TLS 同时保护 Leader 选举和节点间仲裁通信,因此每个成员既可能作为 TLS 客户端主动连接其他成员,也可能作为 TLS 服务端接受连接。每个节点都需要自己的私钥与证书,并信任其他成员的签发 CA;证书 SAN 应覆盖 server.X 中实际使用的主机名。

ZooKeeper 的 quorum TLS 依赖 Netty。最终稳态通常是 sslQuorum=true、portUnification=false:所有节点只使用 TLS,不再接受明文 quorum 连接。

准备统一的节点配置

下面是最终稳态配置示例。每个节点使用自己的 node.p12,但可以共享同一套受控 CA 信任策略。server.X 的 quorum 端口和 election 端口保持原值,先只迁移协议。

properties
serverCnxnFactory=org.apache.zookeeper.server.NettyServerCnxnFactory

server.1=zk1.example.com:2888:3888
server.2=zk2.example.com:2888:3888
server.3=zk3.example.com:2888:3888

sslQuorum=true
portUnification=false

ssl.quorum.keyStore.location=<PATH>/node.p12
ssl.quorum.keyStore.type=PKCS12
ssl.quorum.keyStore.passwordPath=<PATH>/node-store.pass

ssl.quorum.trustStore.location=<PATH>/truststore.p12
ssl.quorum.trustStore.type=PKCS12
ssl.quorum.trustStore.passwordPath=<PATH>/truststore.pass

ssl.quorum.clientAuth=need
leader.closeSocketAsync=true
learner.closeSocketAsync=true

ssl.quorum.clientAuth=need 明确要求节点双向认证。leader.closeSocketAsync 与 learner.closeSocketAsync 可避免关闭 TLS 连接时的长耗时拖住关键线程,适合在启用 quorum TLS 时一并评估。

用三个阶段滚动启用

不能直接把所有节点同时改成 TLS-only。迁移的关键是先让监听端具备同时识别明文与 TLS 的能力,再逐台让节点主动发起 TLS,最后关闭明文兼容。

阶段 sslQuorum portUnification 作用
兼容准备 false true 节点仍主动使用明文,但监听端可兼容迁移中的 TLS
TLS 滚动 true true 已升级节点主动使用 TLS,同时继续接受尚未升级节点
TLS 收口 true false 全集群只接受 TLS

Quorum TLS 三阶段滚动迁移

执行时先把证书材料和兼容准备配置分发到全部节点,然后逐台重启,每重启一台都确认它重新加入多数派。所有节点都完成兼容准备后,再把 sslQuorum 改为 true 做第二轮滚动。确认全集群日志都显示 TLS quorum 通信后,再把 portUnification 设为 false 做第三轮收口。

验证多数派与 TLS 状态

每次滚动后先看节点角色,再检查最终阶段的 TLS 日志。下面命令中的日志路径按实际部署替换;<MODE> 可能是 leader、follower 或 observer。

bash
bin/zkServer.sh status <PATH>/zoo.cfg | grep '^Mode:'
grep -E 'Using TLS encrypted quorum communication|Port unification disabled' <PATH>/zookeeper.log | tail -n 2

预期输出:

text
Mode: <MODE>
<TIME> ... Using TLS encrypted quorum communication
<TIME> ... Port unification disabled

第一行证明该节点已正常加入集群;后两类日志用于确认 quorum TLS 已启用且明文兼容已经关闭。日志前缀会随版本和日志格式变化,但关键语义应一致。若滚动后节点长期处于无法选主状态,应优先检查成员证书 SAN、信任链以及各节点是否处在预期的迁移阶段。

不要把端口迁移和 TLS 迁移混为一件事

portUnification 解决的是同一 quorum/election 端口上明文与 TLS 协议的兼容,不是把旧端口自动转发到新端口。若还要修改 server.X 的 quorum 或 election 端口,应在 TLS 稳定后单独执行,并保证所有成员对集群配置的视图一致;启用动态重配置的集群应使用其受控重配置流程,否则应安排明确维护窗口。

稳妥的迁移标准不是“某一台已能使用 TLS”,而是每一轮重启后多数派持续可用,最终所有节点都以 TLS 通信,并关闭 portUnification 以拒绝明文 quorum 连接。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

集群内部通信加密

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通