服务注册与分布式协调 / 系统课时
用端口统一完成滚动迁移
用端口统一完成滚动迁移
直接把正在运行的 ZooKeeper 集群从明文 Quorum 通信一次性切到 TLS,会让新旧节点在滚动重启期间无法互通。端口统一的作用就是让同一个 quorum 端口临时同时识别明文与 TLS,从而完成无停机迁移,最后再关闭兼容模式收紧为 TLS-only。
学习目标
- 理解
portUnification在明文到 TLS 迁移中的兼容作用 - 按安全顺序完成两轮滚动重启
- 验证迁移结束后 quorum 端口只接受 TLS 通信
先理解三个迁移阶段
迁移不能从“全明文”直接跳到“全 TLS-only”。正确做法是先让所有节点具备协议识别能力,再逐台启用 TLS,最后在确认全员已经使用 TLS 后关闭兼容入口。Apache ZooKeeper 官方管理员指南给出的无停机升级顺序也是这三个阶段。([Apache ZooKeeper][1])

端口统一只是迁移工具,不是最终安全状态。只要 portUnification=true,该 quorum 端口仍保留接受明文连接的能力,所以完成迁移后必须关闭它。
第一轮先开启端口统一
在所有节点上先准备好 KeyStore、TrustStore 和 Netty 配置,但保持 sslQuorum=false。一次只修改并重启一台节点,确认它重新加入集群后再继续下一台。
sslQuorum=false
portUnification=true
serverCnxnFactory=org.apache.zookeeper.server.NettyServerCnxnFactory
ssl.quorum.keyStore.location=/etc/zookeeper/tls/quorum-keystore.jks
ssl.quorum.keyStore.password=<KEYSTORE_PASSWORD>
ssl.quorum.trustStore.location=/etc/zookeeper/tls/quorum-truststore.jks
ssl.quorum.trustStore.password=<TRUSTSTORE_PASSWORD>
ssl.quorum.clientAuth=need此阶段的生效行为是:节点自身仍使用非 TLS quorum 通信,但监听端口已经具备识别 TLS 握手的能力。官方迁移文档明确要求先把所有节点推进到这个兼容状态。([Apache ZooKeeper][1])
重启每台节点后检查日志:
grep -E 'Using insecure.*quorum communication|Port unification enabled|Creating TLS-enabled quorum server socket' <ZK_LOG_PATH> | tail -n 20预期输出
<TIME> ... Using insecure (non-TLS) quorum communication
<TIME> ... Port unification enabled
<TIME> ... Creating TLS-enabled quorum server socket这里看到 “insecure” 并不代表配置失败,因为第一轮的目的只是部署兼容监听能力,而不是立即启用 TLS。
第二轮逐台启用 TLS
当三台节点都已经完成第一轮重启后,再把 sslQuorum 改为 true,继续保持 portUnification=true。然后再次逐台滚动重启。
sslQuorum=true
portUnification=true每次重启后都执行:
bin/zkServer.sh status预期输出
ZooKeeper JMX enabled by default
Using config: <PATH>/zoo.cfg
Mode: <leader|follower>这轮迁移中,新重启的节点会优先使用 TLS,而尚未重启的节点仍可能使用旧状态。portUnification=true 让两者在同一 quorum 端口上共存,因此不会因为协议不一致直接把集群拆成两个不能通信的部分。
三台都完成后,再检查 TLS 日志:
grep -E 'Using TLS encrypted quorum communication|Port unification enabled' <ZK_LOG_PATH> | tail -n 20预期输出
<TIME> ... Using TLS encrypted quorum communication
<TIME> ... Port unification enabled此时全体节点已经能用 TLS,但兼容模式仍然存在,因此还没有达到最终加固目标。
第三轮关闭兼容模式
确认三个节点都已使用 TLS 并且集群稳定后,把 portUnification 关闭,再做最后一轮逐台重启。
sslQuorum=true
portUnification=false重启后验证:
grep -E 'Using TLS encrypted quorum communication|Port unification disabled|Creating TLS-only quorum server socket' <ZK_LOG_PATH> | tail -n 20预期输出
<TIME> ... Using TLS encrypted quorum communication
<TIME> ... Port unification disabled
<TIME> ... Creating TLS-only quorum server socket最终应同时满足三个条件:三节点仍能形成一个 Leader 与两个 Follower;所有节点日志都显示 TLS quorum communication;所有节点都显示 port unification disabled 与 TLS-only quorum socket。官方文档同样把关闭 portUnification 作为迁移完成后的最后一步。([Apache ZooKeeper][1])
避免在滚动过程中失去多数派
三节点集群任意时刻最多只能安全下线一台。开始下一台之前,必须确认刚重启的节点已经重新成为 Leader 或 Follower,而不是只确认进程“启动成功”。
端口统一的安全价值在于把协议升级拆成可验证的小步:先部署兼容能力,再切换加密协议,最后删除明文兼容入口。真正的结束条件不是“所有进程都重启过”,而是多数派稳定、TLS 日志一致且 portUnification=false。