服务注册与分布式协调 / 系统课时

事务日志与快照

事务日志与快照

本课解释 ZooKeeper 如何把内存数据树持久化到磁盘,并说明重启时怎样组合快照与事务日志恢复到最新状态。学完后,你能够识别关键文件、判断文件持续增长是否正常,并避免误删恢复所需的数据。

学习目标

  • 说明事务日志、快照与内存数据树的关系
  • 理解快照生成和服务重启时的恢复顺序
  • 使用目录与工具命令检查持久化文件

两类文件分别保存什么

事务日志记录每次写事务的顺序和内容。写请求完成前,相关事务必须先落到非易失性存储,因此日志设备的延迟会直接影响写入延迟。生产环境通常把 dataLogDir 放在独立磁盘,减少与快照顺序读写之间的竞争。

快照保存某一阶段的数据树和会话信息,用于缩短重启恢复时间。它不是每次写入都生成,而是达到 snapCount 或大小阈值后触发。快照期间仍可能有新事务写入旧日志,所以恢复不能只依赖最新快照。

ZooKeeper 事务日志、快照与恢复链路

快照为什么仍需日志

ZooKeeper 的快照属于模糊快照:生成过程中数据树仍可能变化,文件名后缀表示开始生成快照时的最后已提交 ZXID,但快照内容可能包含之后发生的一部分幂等更新。启动时,服务器先读取最新完整快照,再按 ZXID 重放必要日志,才能得到日志末尾对应的最终状态。

文件通常位于 dataDir/version-2 和 dataLogDir/version-2。snapshot.<zxid> 保存快照,log.<zxid> 保存从某个 ZXID 开始的事务日志,后缀使用十六进制表示。

检查持久化目录

先从配置中确认目录,再查看文件时间和大小。下面示例中的路径需要替换为实际安装位置。

bash
CONFIG=/etc/zookeeper/zoo.cfg
grep -E '^(dataDir|dataLogDir|snapCount|snapSizeLimitInKb)=' "$CONFIG"
find /var/lib/zookeeper/data/version-2 -maxdepth 1 -type f -name 'snapshot.*' -printf '%TY-%Tm-%Td %TH:%TM %10s %f
' | sort
find /var/lib/zookeeper/log/version-2 -maxdepth 1 -type f -name 'log.*' -printf '%TY-%Tm-%Td %TH:%TM %10s %f
' | sort

预期输出会先显示实际目录配置,随后按时间列出快照和日志;文件名及大小会因写入量不同而变化。

text
dataDir=/var/lib/zookeeper/data
dataLogDir=/var/lib/zookeeper/log
snapCount=100000
2026-08-01 00:10   12582912 snapshot.30000002a
2026-08-01 00:10   67108864 log.30000002b

需要查看日志内容时,可在副本上使用 zkTxnLogToolkit.sh 的默认转储模式。不要直接对生产原文件执行修复模式,也不要仅凭文件大小判断是否损坏。

增长过程与风险判断

持续写入会产生新的日志和快照,默认未启用自动清理时,历史文件会一直保留。增长本身并非故障,但磁盘使用率持续上升、快照长时间不更新、事务日志滚动异常或启动时反复报告 CRC、EOF、加载失败,都需要进一步检查。

不要手工只保留“最新一个快照和最新一个日志”。恢复还可能需要快照之前的最后一个日志,以及快照之后的全部日志。正确做法是使用 ZooKeeper 自带清理策略或经过演练的备份保留规则。

本课总结

  • 事务日志保证写事务持久化,快照用于缩短恢复时间
  • 重启恢复必须先加载快照,再按 ZXID 重放必要日志
  • 历史文件应由自动清理或受控工具管理,不能随意删除

下一课预告

下一课将配置自动清理参数,在保留可恢复文件的同时控制快照与事务日志占用的磁盘空间。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

事务日志与快照

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通