服务注册与分布式协调 / 系统课时

设计不停机安全升级顺序

设计不停机安全升级顺序

安全加固最危险的不是某个参数,而是把认证强制、ACL、客户端 TLS 和 Quorum TLS 一次切完。本节把升级拆成可回滚的兼容窗口:先让旧客户端继续工作,再逐步证明新身份与新链路可用,最后才关闭旧入口。

学习目标

  • 按“先兼容、后强制、再收口”的顺序规划认证、ACL 与 TLS 升级。
  • 为每个阶段定义观察点、放行条件和可逆回滚动作。
  • 使用 ZooKeeper 的混合端口与 Quorum 端口统一能力完成滚动切换。

把升级拆成兼容窗口

不停机升级的核心约束是:任一时刻都要同时保留当前可用路径和下一条已验证路径。因此不要先改 ACL 再补客户端凭据,也不要先关闭明文端口再确认全部客户端已迁移。

推荐顺序是:先盘点客户端版本、认证方式、连接串和节点 ACL;再让服务端接受新认证但不强制;随后给客户端逐批启用认证;确认身份覆盖后收紧 ACL;再迁移客户端 TLS;最后单独完成 Quorum TLS。每个阶段只改变一种安全约束。

不停机安全升级的阶段与回滚门

分阶段推进认证与 ACL

认证强制必须晚于客户端认证覆盖。以 SASL 为例,可先在所有服务器加载认证提供者并保持 enforce.auth.enabled=false,让已升级客户端开始携带身份;观察一段完整业务周期后,再开启 enforce.auth.enabled=true 与 enforce.auth.schemes=sasl。较旧版本若使用 sessionRequireClientSASLAuth,也遵循同一原则:先让客户端能认证,再要求所有会话必须认证。

ACL 收紧要放在身份已经稳定之后。先读取目标树上的 ACL,确认服务账号最终映射出的 scheme 与 id,再按业务路径逐批修改。不要直接对根路径执行递归 setAcl -R;一旦主体映射写错,连修复 ACL 所需的 ADMIN 权限也可能一起丢失。生产操作应保留经过验证的管理身份和 ACL 变更前快照。

TLS 与 Quorum 的不停机切换

客户端 TLS 可先同时保留 clientPort 与 secureClientPort,逐批把客户端切到安全端口;只有连接监控确认明文端口不再有有效业务会话后,才关闭明文入口。

Quorum TLS 不能直接从全明文跳到全加密。ZooKeeper 支持 portUnification 用于滚动过渡:第一轮让所有节点能识别明文和 TLS,但仍以明文发起 quorum 连接;第二轮逐台打开 sslQuorum=true;确认全体都已使用 TLS 后,第三轮再关闭 portUnification。

下面是 Quorum TLS 第一轮的片段示例,需在每台服务器准备好各自的密钥库和共享信任链后使用:

properties
serverCnxnFactory=org.apache.zookeeper.server.NettyServerCnxnFactory
sslQuorum=false
portUnification=true
ssl.quorum.keyStore.location=<PATH>/server.p12
ssl.quorum.keyStore.passwordPath=<PATH>/keystore.pass
ssl.quorum.trustStore.location=<PATH>/trust.p12
ssl.quorum.trustStore.passwordPath=<PATH>/truststore.pass

这组配置的生效行为是:当前节点仍可使用非 TLS quorum 通信,但监听端能够接受两种握手,为后续滚动启用 sslQuorum 留出兼容窗口。<PATH> 替换为实际路径。

每次只滚动一台并验证

任何需要重启的阶段都按“一台一台滚动、节点重新加入后再动下一台”执行。每次重启后先确认节点恢复为 leader、follower 或 observer,再检查业务会话建立、读写延迟、认证失败量与 TLS 握手错误。

可执行检查:

bash
"$ZK_HOME/bin/zkServer.sh" status

预期输出至少包含节点模式:

text
Mode: <ROLE>

<ROLE> 的实际值可能是 leader、follower 或 observer。若节点未恢复到正常角色、集群失去多数派、业务错误率明显升高,立即停止后续滚动。

回滚只撤销最后一个约束

回滚设计要与升级阶段一一对应。客户端认证异常时先撤回“强制认证”,不要同时改 ACL;ACL 收紧导致 NoAuth 时恢复上一版 ACL,不要关闭认证;客户端 TLS 失败时保留明文端口并回切连接串;Quorum TLS 阶段失败时保留 portUnification=true,让新旧节点继续互通。

当一个阶段同时满足“集群有多数派、业务请求正常、目标客户端已覆盖、错误指标无持续恶化”后,才进入下一阶段。这样即使某一步暴露兼容性问题,影响面也被限制在最近一次变更,而不是把认证、授权和加密三类故障叠在一起。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

设计不停机安全升级顺序

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通