服务注册与分布式协调 / 系统课时
部署检查与工程总结
部署检查与工程总结
本课解决 ZooKeeper 上线前检查零散、验收结果不可重复的问题。你将把集群配置、容量、安全、备份、升级和读写冒烟测试整理成一套可执行清单,用于上线前放行和后续变更复核。
学习目标
- 掌握生产部署前的配置与容量检查项
- 理解备份、升级和回滚的验收要求
- 能够执行集群状态与读写冒烟测试
配置与容量检查
生产集群通常使用奇数个投票节点,以便在部分节点故障时仍能形成多数派。上线前要核对每台机器的主机名解析、端口连通、myid、数据目录和集群成员配置,任何一项不一致都可能导致节点无法参与选主。
下面是三节点 zoo.cfg 的最小生产化示例。三台机器还要分别在 <DATA_DIR>/myid 写入 1、2、3,并保证编号与 server.N 一致。
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zookeeper
dataLogDir=/data/zookeeper-log
clientPort=2181
autopurge.snapRetainCount=10
autopurge.purgeInterval=24
server.1=zookeeper-1:2888:3888
server.2=zookeeper-2:2888:3888
server.3=zookeeper-3:2888:3888该配置把快照和事务日志放在独立目录,并启用历史文件自动清理。实际验收还要根据连接数、请求速率、节点数量和数据大小评估堆内存、文件描述符、磁盘空间与磁盘延迟,不能只确认服务能够启动。
安全与备份检查
安全项应确认业务身份独立、路径 ACL 符合最小权限、TLS 证书链有效、明文端口已按迁移计划关闭,同时限制管理端口和四字命令的访问范围。密钥和密码必须由受控机制注入,并具备轮换和失效流程。
备份不能只复制某一个快照文件。应同时覆盖快照和事务日志,记录 ZooKeeper 版本、集群配置与 myid,并在隔离环境定期执行恢复演练。验收结果要证明恢复后的关键路径、ACL 和业务协调数据可读取,而不是只证明备份文件存在。
升级与回滚流程
升级前要确认目标版本兼容性、备份可恢复、监控和停止条件已准备。滚动升级时一次只处理一个节点,每次都等待节点重新加入并确认多数派稳定,再继续下一台。
若出现无法加入集群、延迟持续超限、客户端错误率上升或数据校验异常,应立即停止滚动流程并按预案回退。回滚包、旧配置和操作顺序需要在变更前准备,不能在故障发生后临时寻找。
上线冒烟验证
下面脚本先确认本机角色有效,再通过客户端在预先授权的 /ops-check 下创建、读取并删除一个带时间戳的检查节点。请替换 <HOST>:<PORT>,并通过环境变量注入具备该路径权限的测试身份。
set -euo pipefail
: "${ZK_USER:?set ZK_USER}"
: "${ZK_PASSWORD:?set ZK_PASSWORD}"
CONNECT="<HOST>:<PORT>"
PATH_NAME="/ops-check/deployment-$(date +%s)"
STATUS_OUTPUT=$(bin/zkServer.sh status)
grep -Eq 'Mode: (leader|follower)' <<<"$STATUS_OUTPUT"
CLI_OUTPUT=$(
printf 'addauth digest %s:%s\ncreate %s ok\nget %s\ndelete %s\nquit\n' \
"$ZK_USER" "$ZK_PASSWORD" \
"$PATH_NAME" "$PATH_NAME" "$PATH_NAME" |
bin/zkCli.sh -server "$CONNECT" 2>&1
)
grep -Fq "Authentication successful" <<<"$CLI_OUTPUT"
grep -Fq "Created $PATH_NAME" <<<"$CLI_OUTPUT"
grep -Fqx "ok" <<<"$CLI_OUTPUT"
echo "deployment check passed"预期输出
deployment check passed路径中的时间戳会随执行时间变化。若脚本失败,应保留完整客户端输出,并按连接、认证、ACL、集群角色和磁盘状态的顺序定位,不要反复重启掩盖根因。
工程验收清单
上线放行至少要形成以下证据:
- 所有节点配置、
myid、角色和多数派状态正确 - ACL、TLS、密钥管理和管理接口访问范围已验证
- 监控告警、单节点故障恢复和业务侧幂等已经演练
- 快照与事务日志可恢复,滚动升级和回滚步骤可执行
- 读写冒烟、容量基线和变更记录已经归档
清单应由负责人、执行时间和验证结果组成。后续扩容、证书轮换、版本升级或数据目录迁移时复用同一套检查项,才能把一次性部署经验转化为长期工程能力。
本课总结
- 生产验收要同时覆盖配置、容量、安全、恢复和业务冒烟结果。
- 备份必须能够恢复,升级必须能够停止和回滚,不能只保留操作文档。
- 可重复执行的检查清单能降低上线和后续变更风险。
下一课预告
本课程的 ZooKeeper 核心内容已经完成,后续可结合选主、配置管理和分布式锁等真实业务场景继续完善监控、幂等与容灾方案。