服务注册与分布式协调 / 系统课时

用端口统一完成滚动迁移

用端口统一完成滚动迁移

直接把正在运行的 ZooKeeper 集群从明文 Quorum 通信一次性切到 TLS,会让新旧节点在滚动重启期间无法互通。端口统一的作用就是让同一个 quorum 端口临时同时识别明文与 TLS,从而完成无停机迁移,最后再关闭兼容模式收紧为 TLS-only。

学习目标

  • 理解 portUnification 在明文到 TLS 迁移中的兼容作用
  • 按安全顺序完成两轮滚动重启
  • 验证迁移结束后 quorum 端口只接受 TLS 通信

先理解三个迁移阶段

迁移不能从“全明文”直接跳到“全 TLS-only”。正确做法是先让所有节点具备协议识别能力,再逐台启用 TLS,最后在确认全员已经使用 TLS 后关闭兼容入口。Apache ZooKeeper 官方管理员指南给出的无停机升级顺序也是这三个阶段。([Apache ZooKeeper][1])

ZooKeeper Quorum TLS 端口统一滚动迁移

端口统一只是迁移工具,不是最终安全状态。只要 portUnification=true,该 quorum 端口仍保留接受明文连接的能力,所以完成迁移后必须关闭它。

第一轮先开启端口统一

在所有节点上先准备好 KeyStore、TrustStore 和 Netty 配置,但保持 sslQuorum=false。一次只修改并重启一台节点,确认它重新加入集群后再继续下一台。

properties
sslQuorum=false
portUnification=true
serverCnxnFactory=org.apache.zookeeper.server.NettyServerCnxnFactory

ssl.quorum.keyStore.location=/etc/zookeeper/tls/quorum-keystore.jks
ssl.quorum.keyStore.password=<KEYSTORE_PASSWORD>
ssl.quorum.trustStore.location=/etc/zookeeper/tls/quorum-truststore.jks
ssl.quorum.trustStore.password=<TRUSTSTORE_PASSWORD>
ssl.quorum.clientAuth=need

此阶段的生效行为是:节点自身仍使用非 TLS quorum 通信,但监听端口已经具备识别 TLS 握手的能力。官方迁移文档明确要求先把所有节点推进到这个兼容状态。([Apache ZooKeeper][1])

重启每台节点后检查日志:

bash
grep -E 'Using insecure.*quorum communication|Port unification enabled|Creating TLS-enabled quorum server socket' <ZK_LOG_PATH> | tail -n 20

预期输出

text
<TIME> ... Using insecure (non-TLS) quorum communication
<TIME> ... Port unification enabled
<TIME> ... Creating TLS-enabled quorum server socket

这里看到 “insecure” 并不代表配置失败,因为第一轮的目的只是部署兼容监听能力,而不是立即启用 TLS。

第二轮逐台启用 TLS

当三台节点都已经完成第一轮重启后,再把 sslQuorum 改为 true,继续保持 portUnification=true。然后再次逐台滚动重启。

properties
sslQuorum=true
portUnification=true

每次重启后都执行:

bash
bin/zkServer.sh status

预期输出

text
ZooKeeper JMX enabled by default
Using config: <PATH>/zoo.cfg
Mode: <leader|follower>

这轮迁移中,新重启的节点会优先使用 TLS,而尚未重启的节点仍可能使用旧状态。portUnification=true 让两者在同一 quorum 端口上共存,因此不会因为协议不一致直接把集群拆成两个不能通信的部分。

三台都完成后,再检查 TLS 日志:

bash
grep -E 'Using TLS encrypted quorum communication|Port unification enabled' <ZK_LOG_PATH> | tail -n 20

预期输出

text
<TIME> ... Using TLS encrypted quorum communication
<TIME> ... Port unification enabled

此时全体节点已经能用 TLS,但兼容模式仍然存在,因此还没有达到最终加固目标。

第三轮关闭兼容模式

确认三个节点都已使用 TLS 并且集群稳定后,把 portUnification 关闭,再做最后一轮逐台重启。

properties
sslQuorum=true
portUnification=false

重启后验证:

bash
grep -E 'Using TLS encrypted quorum communication|Port unification disabled|Creating TLS-only quorum server socket' <ZK_LOG_PATH> | tail -n 20

预期输出

text
<TIME> ... Using TLS encrypted quorum communication
<TIME> ... Port unification disabled
<TIME> ... Creating TLS-only quorum server socket

最终应同时满足三个条件:三节点仍能形成一个 Leader 与两个 Follower;所有节点日志都显示 TLS quorum communication;所有节点都显示 port unification disabled 与 TLS-only quorum socket。官方文档同样把关闭 portUnification 作为迁移完成后的最后一步。([Apache ZooKeeper][1])

避免在滚动过程中失去多数派

三节点集群任意时刻最多只能安全下线一台。开始下一台之前,必须确认刚重启的节点已经重新成为 Leader 或 Follower,而不是只确认进程“启动成功”。

端口统一的安全价值在于把协议升级拆成可验证的小步:先部署兼容能力,再切换加密协议,最后删除明文兼容入口。真正的结束条件不是“所有进程都重启过”,而是多数派稳定、TLS 日志一致且 portUnification=false。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用端口统一完成滚动迁移

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通