PostgreSQL / 系统课时

建立备份恢复监控与告警

建立备份恢复监控与告警

备份任务显示“成功”并不代表当前仍可恢复。本篇把备份新鲜度、WAL 归档、WAL 生成、存储余量和恢复验证串成一条监控链,并同时检查恢复验证的执行结果、最近成功时间与指标完整性,让绿色状态真正表示“近期可以恢复”。

学习目标

  • 区分备份任务成功与实际恢复能力,建立面向 RPO 的监控指标。
  • 从 PostgreSQL 与存储侧采集归档、WAL 和容量信号。
  • 为恢复验证同时监控执行结果、最近成功时间和指标缺失。

把告警对准恢复能力

监控的核心不是“有没有备份文件”,而是“当前还能不能恢复到目标时间点”。至少应覆盖五个连续环节:最近一次成功备份、WAL 是否持续归档、WAL 是否异常堆积、归档存储是否仍有余量,以及最近是否真正完成过一次恢复验证。

面向恢复能力的备份监控链路

“归档延迟”必须结合 WAL 是否仍在增长判断。业务完全空闲时可能没有新的完整 WAL 段需要归档,最后归档时间自然不会推进;只有 WAL 持续产生,而成功归档时间长期不变化时,才应把它视为归档停滞。

采集归档与 WAL 信号

PostgreSQL 的统计视图可以提供归档成功、失败和 WAL 累计生成量。下面的查询适合作为 exporter 自定义采集项,也可以先用 psql 手工确认数据是否可信。

sql
SELECT
    now() AS observed_at,
    a.archived_count,
    a.failed_count,
    a.last_archived_wal,
    a.last_archived_time,
    EXTRACT(EPOCH FROM (now() - a.last_archived_time))::bigint
        AS seconds_since_last_archive,
    w.wal_bytes
FROM pg_stat_archiver AS a
CROSS JOIN pg_stat_wal AS w;

预期结果

text
observed_at | archived_count | failed_count | last_archived_wal | last_archived_time | seconds_since_last_archive | wal_bytes
<TIME>      | <VALUE>        | <VALUE>      | <WAL_SEGMENT>     | <TIME>             | <VALUE>                    | <VALUE>

wal_bytes 是自相关统计重置以来的累计值,不能把单次读数直接当成生成速率。监控系统应保存连续采样,再用相邻样本计算增量速率。如果 last_archived_time 为空,应先确认实例是否刚启用归档,或尚未产生可归档的完整 WAL 段。

归档存储和本机 pg_wal 还应从操作系统侧检查容量。下面示例查看 WAL 目录大小和归档目标文件系统的剩余空间,实际路径替换为部署值。

bash
du -sb "<PATH>/pg_wal"
df -P "<ARCHIVE_PATH>"

预期输出

text
<VALUE>	<PATH>/pg_wal
Filesystem  1024-blocks  Used     Available  Capacity  Mounted on
<DEVICE>    <VALUE>      <VALUE>  <VALUE>    <VALUE>%  <PATH>

如果归档目标是对象存储,就不能用本机 df 代替容量监控,应改为采集配额或容量限制、写入失败、API 错误,以及生命周期策略导致的对象过早删除等信号。

把恢复链指标变成告警

阈值应从恢复目标反推,而不是照抄固定数字。例如 RPO 为 15 分钟时,归档停滞阈值应明显小于真正不可接受的窗口,并给人工处置留出时间;完整备份的新鲜度则应根据备份周期与恢复策略单独确定。

下面是一组 Prometheus 风格的规则示例。指标名是示例契约,接入现有 exporter 时应映射为实际名称。恢复验证任务每次运行都更新 postgresql_restore_verification_success:成功为 1,失败为 0;成功时同时更新 postgresql_restore_verification_last_success_timestamp_seconds 为 Unix 时间戳。这样才能区分“刚刚验证成功”和“很久以前成功过一次”。

yaml
groups:
  - name: postgresql-recovery-readiness
    rules:
      - alert: PostgreSQLBackupTooOld
        expr: time() - postgresql_backup_last_success_timestamp_seconds > 86400
        for: 15m

      - alert: PostgreSQLArchiveFailure
        expr: increase(postgresql_archiver_failed_count_total[10m]) > 0
        for: 5m

      - alert: PostgreSQLArchiveStalled
        expr: rate(postgresql_wal_bytes_total[5m]) > 0 and on (instance) time() - postgresql_last_archived_timestamp_seconds > 600
        for: 10m

      - alert: PostgreSQLArchiveStorageLow
        expr: postgresql_archive_storage_free_ratio < 0.15
        for: 15m

      - alert: PostgreSQLRestoreVerificationFailed
        expr: postgresql_restore_verification_success == 0
        for: 5m

      - alert: PostgreSQLRestoreVerificationStale
        expr: time() - postgresql_restore_verification_last_success_timestamp_seconds > 86400
        for: 15m

      - alert: PostgreSQLRestoreVerificationMetricsMissing
        expr: absent(postgresql_restore_verification_success) or absent(postgresql_restore_verification_last_success_timestamp_seconds)
        for: 15m

恢复验证需要三类互补告警:Failed 发现最近一次执行明确失败,Stale 发现最近一次成功已经过旧,MetricsMissing 发现监控数据根本没有上报。只有三者同时存在,才不会因为一个长期保持为 1 的旧成功结果而永久显示绿色。

示例中的 86400 代表一天,仅用于说明规则形式。若要求每天至少成功恢复一次,应结合任务调度时间、允许延迟和人工处置窗口设定阈值;如果恢复演练周期是每周,则应相应调整,而不是机械沿用一天。

验证告警真的能发现不可恢复状态

配置完成后,先检查规则语法,再做受控故障演练。Prometheus 环境可以用 promtool 验证规则文件,避免 YAML 或 PromQL 错误导致整组告警未加载。

bash
promtool check rules <PATH>/postgresql-recovery-readiness.yml

预期输出

text
Checking <PATH>/postgresql-recovery-readiness.yml
  SUCCESS: <VALUE> rules found

真正的验收至少应覆盖四类场景:阻断归档目标写入,确认归档失败或停滞告警出现;把归档存储压到预警阈值,确认容量告警出现;让恢复验证任务执行失败,确认失败告警出现;最后分别停止上报恢复验证指标,以及把最近成功时间推进到阈值之外,确认缺失和过期告警都能触发。演练结束后恢复现场,并确认告警能够自动恢复。

最终需要盯住的不是某一个绿色指标,而是一条完整恢复链:有足够新的基线备份、有连续 WAL、有可用存储,并且最近确实恢复成功过。恢复验证的结果、成功时间和指标存在性缺一不可。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

建立备份恢复监控与告警

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通