服务注册与分布式协调 / 系统课时
完成三节点生产级加固演练
完成三节点生产级加固演练
这一节把三台 ZooKeeper 从“能跑”收敛为可验收的生产安全基线:客户端必须持证、znode 按身份授权、节点间只走 TLS、AdminServer 仅管理面可达,并通过轮换、越权和伪造证书测试证明配置真的生效。
学习目标
- 组合 x509 强制认证、最小权限 ACL、客户端 mTLS 与 Quorum TLS。
- 将 AdminServer 收敛到受控入口,并完成不中断集群的证书轮换。
- 用越权访问和伪造证书连接完成正向、负向验收。
收敛三节点安全边界
生产级加固不是单独“开 TLS”,而是同时封住四条边界:客户端到服务器必须双向认证;znode 操作必须经过 ACL;三台服务器的选主与复制链路必须加密并验证节点身份;运维接口不能暴露到业务网络。下面的拓扑把四层控制放在同一张图里,便于验收时逐层排除遗漏。

片段示例:以下安全项合并到三台节点各自的 zoo.cfg。三台共享相同信任根,但 myid、节点私钥和证书必须各自独立;服务端证书的 SAN 要包含对应 zk1.example.com、zk2.example.com、zk3.example.com。<PATH> 替换为实际受控目录,密码文件权限应只允许 ZooKeeper 服务账号读取。
tickTime=2000
initLimit=10
syncLimit=5
dataDir=<PATH>/data
server.1=zk1.example.com:2888:3888
server.2=zk2.example.com:2888:3888
server.3=zk3.example.com:2888:3888
serverCnxnFactory=org.apache.zookeeper.server.NettyServerCnxnFactory
secureClientPort=2281
enforce.auth.enabled=true
enforce.auth.schemes=x509
ssl.clientAuth=need
ssl.keyStore.location=<PATH>/tls/node.p12
ssl.keyStore.passwordPath=<PATH>/secrets/keystore.pass
ssl.keyStore.type=PKCS12
ssl.trustStore.location=<PATH>/tls/trust.p12
ssl.trustStore.passwordPath=<PATH>/secrets/truststore.pass
ssl.trustStore.type=PKCS12
ssl.hostnameVerification=true
client.certReload=true
sslQuorum=true
ssl.quorum.clientAuth=need
ssl.quorum.keyStore.location=<PATH>/tls/node.p12
ssl.quorum.keyStore.passwordPath=<PATH>/secrets/keystore.pass
ssl.quorum.keyStore.type=PKCS12
ssl.quorum.trustStore.location=<PATH>/tls/trust.p12
ssl.quorum.trustStore.passwordPath=<PATH>/secrets/truststore.pass
ssl.quorum.trustStore.type=PKCS12
ssl.quorum.hostnameVerification=true
sslQuorumReloadCertFiles=true
portUnification=false
admin.enableServer=true
admin.serverAddress=127.0.0.1
admin.serverPort=8080
admin.forceHttps=true
admin.needClientAuth=true
admin.restore.enabled=false
admin.commandURL=/commands
4lw.commands.whitelist=srvr这里故意不配置 clientPort,因此客户端只剩 TLS 入口;ssl.clientAuth=need 与 enforce.auth.schemes=x509 分别在 TLS 握手层和 ZooKeeper 认证层拒绝未持有可信证书的客户端。Quorum 侧启用 sslQuorum=true 且关闭 portUnification,表示迁移完成后不再兼容明文 peer。AdminServer 强制 HTTPS、要求客户端证书并只绑定回环地址;若必须远程运维,应改绑专用管理网地址并由防火墙限制来源。([Apache ZooKeeper][1])
TLS-only 集群执行 zkServer.sh status 时也要给诊断客户端提供证书。以下命令假设三台主机均可 SSH,且证书路径在各节点一致。
export CLIENT_JVMFLAGS="-Dzookeeper.clientCnxnSocket=org.apache.zookeeper.ClientCnxnSocketNetty -Dzookeeper.client.secure=true -Dzookeeper.ssl.keyStore.location=<PATH>/tls/admin.p12 -Dzookeeper.ssl.keyStore.passwordPath=<PATH>/secrets/admin-keystore.pass -Dzookeeper.ssl.trustStore.location=<PATH>/tls/trust.p12 -Dzookeeper.ssl.trustStore.passwordPath=<PATH>/secrets/truststore.pass"
for host in zk1.example.com zk2.example.com zk3.example.com; do
echo "== ${host} =="
ssh "${host}" "CLIENT_JVMFLAGS='${CLIENT_JVMFLAGS}' zkServer.sh status"
ssh "${host}" "grep -E 'Using TLS encrypted quorum communication|Creating TLS-only quorum server socket' <PATH>/logs/zookeeper*.log | tail -n 2"
done预期结果
三台节点都能返回 Mode: leader 或 Mode: follower,角色总计为 1 个 leader、2 个 follower。
每台日志都能确认 Quorum 使用 TLS,并创建 TLS-only quorum socket;日志前缀和行号可能因版本不同而变化。落实最小权限 ACL
mTLS 只回答“你是谁”,ACL 才回答“你能做什么”。本演练使用三个客户端身份:CN=security-admin 只做安全初始化,CN=app-writer 允许在应用目录创建、读取和写入,CN=app-reader 只能读取。ZooKeeper ACL 不继承,因此创建子节点时必须显式写 ACL,不能依赖父节点自动下传。
先用安全管理员证书连接,并立即收紧根节点,再创建应用目录和测试数据。示例证书主题必须与实际客户端证书的 X500 Principal 完全一致。
export CLIENT_JVMFLAGS="-Dzookeeper.clientCnxnSocket=org.apache.zookeeper.ClientCnxnSocketNetty -Dzookeeper.client.secure=true -Dzookeeper.ssl.keyStore.location=<PATH>/tls/security-admin.p12 -Dzookeeper.ssl.keyStore.passwordPath=<PATH>/secrets/admin-keystore.pass -Dzookeeper.ssl.trustStore.location=<PATH>/tls/trust.p12 -Dzookeeper.ssl.trustStore.passwordPath=<PATH>/secrets/truststore.pass"
zkCli.sh -server zk1.example.com:2281 <<'EOF'
setAcl / x509:CN=security-admin:cdrwa
create /prod prod x509:CN=security-admin:cdrwa
create /prod/app app x509:CN=security-admin:cdrwa,x509:CN=app-writer:crw,x509:CN=app-reader:r
create /prod/app/secret v1 x509:CN=security-admin:cdrwa,x509:CN=app-writer:rw,x509:CN=app-reader:r
getAcl /prod/app
getAcl /prod/app/secret
quit
EOF预期结果
/prod/app:security-admin=cdrwa,app-writer=crw,app-reader=r
/prod/app/secret:security-admin=cdrwa,app-writer=rw,app-reader=r
不存在 world:anyone:cdrwa 之类的开放 ACL。轮换证书而不放大故障面
如果只是同一 CA 下更新叶子证书,可以依靠 client.certReload=true 与 sslQuorumReloadCertFiles=true 重新加载磁盘上的证书文件。一次只替换一台节点,确认该节点重新加入法定人数后再处理下一台;不要同时改三台。
如果连 CA 也要轮换,顺序必须改成“先扩信任、再换叶子、最后删旧信任”:先让三节点和所有客户端同时信任旧 CA 与新 CA,再逐个切换证书,观察完整稳定窗口后才删除旧 CA。这样不会出现新旧节点互相不信任导致 Quorum 被切开的瞬间。
以下命令以 ZooKeeper 服务账号执行,先验证暂存的 PKCS#12,再原子替换当前节点文件。<PATH> 为实际目录。
set -euo pipefail
stage=<PATH>/staged/node.p12
live=<PATH>/tls/node.p12
openssl pkcs12 -in "${stage}" -passin file:<PATH>/secrets/keystore.pass -noout >/dev/null
install -m 0600 "${stage}" "${live}.new"
mv "${live}.new" "${live}"
echo "certificate-file-replaced"预期输出
certificate-file-replaced每轮替换后,从可信管理机读取三个 TLS 端点实际呈现的证书。序列号和到期时间属于动态值,用 <ID>、<TIME> 表示。
for host in zk1.example.com zk2.example.com zk3.example.com; do
echo "== ${host} =="
echo | openssl s_client -connect "${host}:2281" -servername "${host}" -cert <PATH>/tls/security-admin.crt -key <PATH>/tls/security-admin.key -CAfile <PATH>/tls/ca.crt 2>/dev/null | openssl x509 -noout -serial -enddate
done预期输出
== zk1.example.com ==
serial=<ID>
notAfter=<TIME>
== zk2.example.com ==
serial=<ID>
notAfter=<TIME>
== zk3.example.com ==
serial=<ID>
notAfter=<TIME>只有三个端点都展示预期的新证书,且集群仍保持一个 leader、两个 follower,才继续下一轮或删除旧信任根。
用负向测试完成验收
正向连接成功只能证明“正确配置能工作”,生产验收还必须证明错误身份确实被拒绝。先用受信任但只有读权限的 CN=app-reader 尝试修改敏感节点,这能区分“TLS 身份可信”和“ZooKeeper ACL 授权不足”两个层次。
export CLIENT_JVMFLAGS="-Dzookeeper.clientCnxnSocket=org.apache.zookeeper.ClientCnxnSocketNetty -Dzookeeper.client.secure=true -Dzookeeper.ssl.keyStore.location=<PATH>/tls/app-reader.p12 -Dzookeeper.ssl.keyStore.passwordPath=<PATH>/secrets/reader-keystore.pass -Dzookeeper.ssl.trustStore.location=<PATH>/tls/trust.p12 -Dzookeeper.ssl.trustStore.passwordPath=<PATH>/secrets/truststore.pass"
zkCli.sh -server zk1.example.com:2281 <<'EOF'
set /prod/app/secret hacked
quit
EOF预期结果
KeeperErrorCode = NoAuth for /prod/app/secret再生成一个不受集群 CA 信任的临时证书,直接向 secureClientPort 发起握手。这个连接应在建立 ZooKeeper 会话之前失败,证明 mTLS 没有退化成“只校验服务端证书”。
set -euo pipefail
tmp="$(mktemp -d)"
trap 'rm -rf "${tmp}"' EXIT
openssl req -x509 -newkey rsa:2048 -nodes -subj "/CN=rogue-client" -keyout "${tmp}/rogue.key" -out "${tmp}/rogue.crt" -days 1 >/dev/null 2>&1
set +e
output="$(echo | openssl s_client -connect zk1.example.com:2281 -servername zk1.example.com -cert "${tmp}/rogue.crt" -key "${tmp}/rogue.key" -CAfile <PATH>/tls/ca.crt 2>&1)"
rc=$?
set -e
printf '%s\n' "${output}" | grep -Ei 'alert|unknown ca|certificate required|bad certificate' | head -n 3 || true
echo "exit=${rc}"预期结果
TLS 握手被拒绝;输出包含 unknown ca、bad certificate 或同义 TLS alert。
不会建立可用的 ZooKeeper session。最后在节点本机用管理证书访问 AdminServer。--resolve 让 URL 仍使用证书中的 DNS 名称,但 TCP 实际只连回环地址,从而同时验证 HTTPS、主机名和客户端证书。
ssh zk1.example.com 'curl --silent --show-error --fail --cert <PATH>/tls/security-admin.crt --key <PATH>/tls/security-admin.key --cacert <PATH>/tls/ca.crt --resolve zk1.example.com:8080:127.0.0.1 -o /dev/null -w "%{http_code}\n" https://zk1.example.com:8080/commands/ruok'预期输出
200生产验收通过的标准是:业务侧没有明文客户端端口;三节点 Quorum 只接受 TLS peer;客户端必须携带可信证书;读账号无法写入、写账号无法改 ACL;AdminServer 只从受控管理面进入;单节点证书轮换期间法定人数不丢失;自签或伪造客户端证书无法建立会话。满足这些条件后,安全配置才从“已填写参数”变成“已经被证据验证的边界”。