服务注册与分布式协调 / 系统课时

部署检查与工程总结

部署检查与工程总结

本课解决 ZooKeeper 上线前检查零散、验收结果不可重复的问题。你将把集群配置、容量、安全、备份、升级和读写冒烟测试整理成一套可执行清单,用于上线前放行和后续变更复核。

学习目标

  • 掌握生产部署前的配置与容量检查项
  • 理解备份、升级和回滚的验收要求
  • 能够执行集群状态与读写冒烟测试

配置与容量检查

生产集群通常使用奇数个投票节点,以便在部分节点故障时仍能形成多数派。上线前要核对每台机器的主机名解析、端口连通、myid、数据目录和集群成员配置,任何一项不一致都可能导致节点无法参与选主。

下面是三节点 zoo.cfg 的最小生产化示例。三台机器还要分别在 <DATA_DIR>/myid 写入 1、2、3,并保证编号与 server.N 一致。

properties
tickTime=2000
initLimit=10
syncLimit=5

dataDir=/data/zookeeper
dataLogDir=/data/zookeeper-log
clientPort=2181

autopurge.snapRetainCount=10
autopurge.purgeInterval=24

server.1=zookeeper-1:2888:3888
server.2=zookeeper-2:2888:3888
server.3=zookeeper-3:2888:3888

该配置把快照和事务日志放在独立目录,并启用历史文件自动清理。实际验收还要根据连接数、请求速率、节点数量和数据大小评估堆内存、文件描述符、磁盘空间与磁盘延迟,不能只确认服务能够启动。

安全与备份检查

安全项应确认业务身份独立、路径 ACL 符合最小权限、TLS 证书链有效、明文端口已按迁移计划关闭,同时限制管理端口和四字命令的访问范围。密钥和密码必须由受控机制注入,并具备轮换和失效流程。

备份不能只复制某一个快照文件。应同时覆盖快照和事务日志,记录 ZooKeeper 版本、集群配置与 myid,并在隔离环境定期执行恢复演练。验收结果要证明恢复后的关键路径、ACL 和业务协调数据可读取,而不是只证明备份文件存在。

升级与回滚流程

升级前要确认目标版本兼容性、备份可恢复、监控和停止条件已准备。滚动升级时一次只处理一个节点,每次都等待节点重新加入并确认多数派稳定,再继续下一台。

若出现无法加入集群、延迟持续超限、客户端错误率上升或数据校验异常,应立即停止滚动流程并按预案回退。回滚包、旧配置和操作顺序需要在变更前准备,不能在故障发生后临时寻找。

上线冒烟验证

下面脚本先确认本机角色有效,再通过客户端在预先授权的 /ops-check 下创建、读取并删除一个带时间戳的检查节点。请替换 <HOST>:<PORT>,并通过环境变量注入具备该路径权限的测试身份。

bash
set -euo pipefail

: "${ZK_USER:?set ZK_USER}"
: "${ZK_PASSWORD:?set ZK_PASSWORD}"

CONNECT="<HOST>:<PORT>"
PATH_NAME="/ops-check/deployment-$(date +%s)"

STATUS_OUTPUT=$(bin/zkServer.sh status)
grep -Eq 'Mode: (leader|follower)' <<<"$STATUS_OUTPUT"

CLI_OUTPUT=$(
  printf 'addauth digest %s:%s\ncreate %s ok\nget %s\ndelete %s\nquit\n' \
    "$ZK_USER" "$ZK_PASSWORD" \
    "$PATH_NAME" "$PATH_NAME" "$PATH_NAME" |
    bin/zkCli.sh -server "$CONNECT" 2>&1
)

grep -Fq "Authentication successful" <<<"$CLI_OUTPUT"
grep -Fq "Created $PATH_NAME" <<<"$CLI_OUTPUT"
grep -Fqx "ok" <<<"$CLI_OUTPUT"
echo "deployment check passed"

预期输出

text
deployment check passed

路径中的时间戳会随执行时间变化。若脚本失败,应保留完整客户端输出,并按连接、认证、ACL、集群角色和磁盘状态的顺序定位,不要反复重启掩盖根因。

工程验收清单

上线放行至少要形成以下证据:

  • 所有节点配置、myid、角色和多数派状态正确
  • ACL、TLS、密钥管理和管理接口访问范围已验证
  • 监控告警、单节点故障恢复和业务侧幂等已经演练
  • 快照与事务日志可恢复,滚动升级和回滚步骤可执行
  • 读写冒烟、容量基线和变更记录已经归档

清单应由负责人、执行时间和验证结果组成。后续扩容、证书轮换、版本升级或数据目录迁移时复用同一套检查项,才能把一次性部署经验转化为长期工程能力。

本课总结

  • 生产验收要同时覆盖配置、容量、安全、恢复和业务冒烟结果。
  • 备份必须能够恢复,升级必须能够停止和回滚,不能只保留操作文档。
  • 可重复执行的检查清单能降低上线和后续变更风险。

下一课预告

本课程的 ZooKeeper 核心内容已经完成,后续可结合选主、配置管理和分布式锁等真实业务场景继续完善监控、幂等与容灾方案。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

部署检查与工程总结

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通