服务注册与分布式协调 / 系统课时

备份与恢复演练

备份与恢复演练

本课完成一套可审计的 ZooKeeper 备份与恢复流程。你将从健康 follower 获取快照和事务日志副本,生成校验文件,并在隔离环境恢复后验证 ZXID、节点数据和临时节点边界,确保备份真正可用。

学习目标

  • 设计同时包含快照和必要事务日志的备份方案
  • 在不破坏在线多数派的前提下制作一致副本
  • 在隔离环境验证恢复结果与数据完整性

备份对象与原则

有效备份不能只复制最新快照,还要包含恢复该快照所需的事务日志。最稳妥的做法是选择一个已同步的 follower,确认集群仍有多数派后暂时停止该节点,再复制 dataDir 和 dataLogDir;这样可以避免在线复制过程中获得彼此不匹配的文件集合。

备份应保存 ZooKeeper 版本、静态与动态配置、目录清单、文件校验值和备份时间。myid 与成员地址属于部署身份,恢复到新环境时应按目标拓扑重新配置,不能无条件照搬。

ZooKeeper 备份、隔离恢复与验证流程

制作冷副本

下面示例假设目标 follower 由 systemd 管理。执行前先确认停止它不会使集群失去多数派,并把路径替换为实际配置值。

bash
set -euo pipefail
BACKUP_ROOT=/backup/zookeeper/20260801-013300

sudo systemctl stop zookeeper
trap 'sudo systemctl start zookeeper' EXIT

sudo mkdir -p "$BACKUP_ROOT"
sudo tar -C /var/lib/zookeeper -czf "$BACKUP_ROOT/data.tgz" data
sudo tar -C /var/lib/zookeeper -czf "$BACKUP_ROOT/log.tgz" log
sudo cp /etc/zookeeper/zoo.cfg "$BACKUP_ROOT/zoo.cfg"
sudo sha256sum "$BACKUP_ROOT"/*.tgz "$BACKUP_ROOT/zoo.cfg" | sudo tee "$BACKUP_ROOT/SHA256SUMS"

sudo systemctl start zookeeper
trap - EXIT

预期结果是生成两个目录归档、配置副本和校验文件,节点重新启动后恢复 follower 或 observer 状态。实际文件大小和校验值会不同。

text
<哈希值>  /backup/zookeeper/20260801-013300/data.tgz
<哈希值>  /backup/zookeeper/20260801-013300/log.tgz
<哈希值>  /backup/zookeeper/20260801-013300/zoo.cfg

备份完成后将文件复制到与 ZooKeeper 数据盘独立的存储,并设置不可变保留或版本控制。仅保存在同一台机器、同一磁盘或同一故障域中的副本不算灾备。

在隔离环境恢复

使用与备份兼容的 ZooKeeper 版本,准备空目录并校验归档。不要把恢复文件直接覆盖到仍在服务的生产集群,也不要让演练环境连接生产客户端网络。

bash
RESTORE_ROOT=/srv/zk-restore
BACKUP_ROOT=/backup/zookeeper/20260801-013300
cd "$BACKUP_ROOT"
sha256sum -c SHA256SUMS
sudo mkdir -p "$RESTORE_ROOT"
sudo tar -C "$RESTORE_ROOT" -xzf data.tgz
sudo tar -C "$RESTORE_ROOT" -xzf log.tgz
find "$RESTORE_ROOT" -type f | sort | head

预期输出首先显示校验通过,随后列出恢复出的 myid、snapshot.* 和 log.* 文件。目录层级可能因备份命令不同而变化。

text
data.tgz: OK
log.tgz: OK
zoo.cfg: OK
/srv/zk-restore/data/myid
/srv/zk-restore/data/version-2/snapshot.<ZXID>
/srv/zk-restore/log/version-2/log.<ZXID>

随后修改隔离环境的 dataDir、dataLogDir、客户端端口、myid 和成员配置,再启动测试实例。若只恢复一个节点进行数据核验,应使用隔离的单机配置;若验证集群恢复,应为每个目标节点准备独立身份和目录。

验证数据完整性

至少验证服务能够启动、角色符合预期、最新 ZXID 不早于备份目标、关键永久节点存在、节点数量合理、ACL 与数据内容正确。临时节点依赖原会话,恢复后不应把它们当作永久业务数据进行验收。

恢复演练还要记录 RPO 和 RTO。RPO 是备份能够恢复到的最新时间点,RTO 是从开始恢复到业务验证通过所用时间。未记录时间、未验证关键路径或只确认进程启动,都不能算完成演练。

本课总结

  • 备份必须同时覆盖快照、必要事务日志、配置和校验清单
  • 从停止的单个 follower 制作副本,可降低获得不一致文件集的风险
  • 恢复必须在隔离环境验证数据、ZXID、ACL、RPO 和 RTO

下一课预告

下一章进入性能分析与故障排查,首先从客户端连接失败开始建立由网络到服务端的定位顺序。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

备份与恢复演练

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通