服务注册与分布式协调 / 系统课时

自动清理策略

自动清理策略

本课完成 ZooKeeper 历史快照与事务日志的自动清理配置。你将设置保留数量和执行周期,验证参数是否生效,并建立磁盘监控与备份之间的边界,避免因文件无限增长或清理过度影响恢复。

学习目标

  • 理解两个 autopurge 参数的作用与边界
  • 配置并验证自动清理任务
  • 区分在线清理、备份保留和手工清理

两个参数如何配合

autopurge.snapRetainCount 表示至少保留多少个最近快照及其对应恢复所需日志,默认值和最小值都是 3。生产环境常设置为 5~10,但最终数量应结合备份周期、磁盘容量和恢复演练结果决定。

autopurge.purgeInterval 表示自动清理任务的执行间隔,单位为小时。默认值 0 代表关闭;设置为 1 或更大的整数后启用。它控制“多久检查一次”,并不保证每次都删除文件。

配置自动清理

在所有投票节点和 Observer 上保持一致的保留策略。下面示例每 12 小时检查一次,并保留最近 5 个快照。

properties
autopurge.snapRetainCount=5
autopurge.purgeInterval=12

配置生效行为:ZooKeeper 周期性扫描 dataDir 与 dataLogDir,删除超过保留范围的旧快照和对应事务日志。修改后需要按部署方式重启节点,建议逐台滚动操作,避免同时失去多数派。

使用下面命令确认配置文件内容,并观察历史文件数量是否在后续清理周期内下降。

bash
CONFIG=/etc/zookeeper/zoo.cfg
grep -E '^autopurge\.(snapRetainCount|purgeInterval)=' "$CONFIG"
du -sh /var/lib/zookeeper/data/version-2 /var/lib/zookeeper/log/version-2

预期输出中的数值应与配置一致;目录大小不会在重启后立即下降,而是在清理任务触发且存在可删除文件时变化。

text
autopurge.snapRetainCount=5
autopurge.purgeInterval=12
320M    /var/lib/zookeeper/data/version-2
1.8G    /var/lib/zookeeper/log/version-2

手工清理的使用边界

需要在维护窗口立即释放空间时,可先停止目标节点或确认集群仍有多数派,再使用发行包中的 zkCleanup.sh。工具会按快照边界计算可删除日志,比直接执行 rm 更安全。

bash
cd /opt/zookeeper
bin/zkCleanup.sh -n 5

预期结果是保留最近 5 组恢复所需文件,旧文件被清理;不同版本的日志文字可能不同,应以清理前后的文件清单和磁盘占用为准。

text
保留最近 5 个快照及对应事务日志,旧文件数量减少。

手工命令不是备份工具,也不应与自动清理任务频繁并发执行。清理前先确认备份已经复制到独立存储,且恢复演练使用的是备份副本而不是仍在滚动的在线目录。

配置后的监控要求

自动清理不能替代磁盘告警。至少监控数据盘使用率、文件数量、最新快照时间和清理任务异常日志。若磁盘仍持续增长,应检查写入速率、保留数量、任务是否真正启动,以及配置是否加载了错误的 zoo.cfg。

保留数量也不是越大越安全。过多文件会挤占磁盘,过少则减少可回退点。合理策略是“在线保留少量恢复窗口,离线备份保留更长历史”。

本课总结

  • snapRetainCount 控制保留数量,purgeInterval 控制检查周期
  • 自动清理启用后仍需监控磁盘和最新快照时间
  • 紧急清理应使用官方工具,不能直接删除任意日志文件

下一课预告

下一课将接入 AdminServer、四字命令、JMX 和 Prometheus 指标,建立 ZooKeeper 的运行观测入口。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

自动清理策略

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通