PostgreSQL / 系统课时

自动化备份与恢复验证

自动化备份与恢复验证

备份作业显示成功,只能证明命令当时退出正常,不能证明副本真的可恢复。本篇把基础备份、清单校验、外部表空间隔离、测试启动和 SQL 验收串成一条流水线,让调度系统以“恢复验证通过”而不是“备份命令成功”作为最终证据。

学习目标

  • 把备份、完整性校验、隔离恢复和 SQL 验收组织成可重复的自动流程。
  • 正确映射并二次隔离外部表空间,避免验证过程访问源路径或修改保留副本。
  • 用整体退出码、阶段记录和业务不变量定义可自动判定的恢复验收条件。

用恢复结果定义备份成功

可靠的自动验证至少要经历备份生成、清单校验、复制到隔离目录、重定位外部表空间、启动恢复实例、执行 SQL 验收和清理测试环境。任一步失败都应让整次作业失败,而不是因为最前面的 pg_basebackup 返回零就报告成功。

自动化备份与隔离恢复验证流水线

这种流程能发现“文件存在”检查覆盖不到的问题,例如所需 WAL 不完整、运行时依赖缺失、实例无法启动,或者实例能启动但关键对象与业务数据不符合预期。pg_verifybackup 是重要的完整性检查,但它不能替代真正的测试恢复。

安全处理外部表空间

plain 格式的 pg_basebackup 不能只关心 PGDATA。源集群存在用户表空间时,必须为每个源绝对路径传入 --tablespace-mapping,把表空间写入验证机上的本次运行专属目录;否则 plain 备份会尝试沿用源集群的绝对表空间路径,在同机备份时尤其可能失败或触碰源目录。

映射完成后,备份目录里的 pg_tblspc/<OID> 会指向备份阶段的新表空间目录。为了保证测试实例不修改保留副本,恢复阶段还要把主数据目录和每个表空间分别复制到新的恢复目录,再重建 pg_tblspc/<OID> 符号链接。这样“备份副本”和“启动验证的工作副本”始终分离。

串起最小可执行验证流水线

下面示例要求备份端与验证端使用与源集群兼容、最好相同主版本的 PostgreSQL 工具,并以拥有备份根目录和临时目录权限的 postgres 操作系统用户执行。SOURCE_CONNINFO 与 PGPASSFILE 应由秘密管理系统注入;用于查询源集群元数据的连接也必须能够正常登录数据库。

bash
#!/usr/bin/env bash
set -Eeuo pipefail
export LC_ALL=C

: "${SOURCE_CONNINFO:?SOURCE_CONNINFO is required}"

BACKUP_ROOT="${BACKUP_ROOT:-/srv/pgbackup}"
RUN_ID="$(date -u +%Y%m%dT%H%M%SZ)-$$"
BACKUP_DIR="$BACKUP_ROOT/base-$RUN_ID"
BACKUP_TS_ROOT="$BACKUP_ROOT/tablespaces-$RUN_ID"
RESTORE_DIR="/tmp/pg-restore-$RUN_ID"
RESTORE_TS_ROOT="/tmp/pg-restore-tablespaces-$RUN_ID"
SOCKET_DIR="/tmp/pg-socket-$RUN_ID"
HBA_FILE="/tmp/pg-hba-$RUN_ID.conf"
DIAG_DIR="$BACKUP_ROOT/verify-$RUN_ID"
SERVER_LOG="$DIAG_DIR/postgresql.log"
VERIFY_LOG="$DIAG_DIR/pg_verifybackup.log"
PORT="${PORT:-55432}"
STAGE="init"

cleanup() {
  status=$?
  set +e
  pg_ctl -D "$RESTORE_DIR" -m fast stop >/dev/null 2>&1
  if (( status == 0 )); then
    rm -rf "$RESTORE_DIR" "$RESTORE_TS_ROOT" "$SOCKET_DIR" "$HBA_FILE"
    printf 'status=ok\nrun_id=%s\n' "$RUN_ID" >"$DIAG_DIR/status.txt"
  else
    printf 'status=failed\nrun_id=%s\nstage=%s\n' \
      "$RUN_ID" "$STAGE" >"$DIAG_DIR/status.txt"
    printf 'validation failed: run_id=%s stage=%s diagnostics=%s\n' \
      "$RUN_ID" "$STAGE" "$DIAG_DIR" >&2
  fi
  trap - EXIT
  exit "$status"
}
trap cleanup EXIT

install -d -m 700 \
  "$BACKUP_ROOT" "$BACKUP_DIR" "$BACKUP_TS_ROOT" \
  "$RESTORE_DIR" "$RESTORE_TS_ROOT" "$SOCKET_DIR" "$DIAG_DIR"

# 仅允许本机、当前操作系统用户可进入的 Unix Socket 目录进行验证连接。
printf 'local all all trust\n' >"$HBA_FILE"
chmod 600 "$HBA_FILE"

STAGE="read source identity"
SOURCE_IDENTITY="$(
  psql "$SOURCE_CONNINFO" -At -F $'\t' -v ON_ERROR_STOP=1 -c \
    "SELECT current_user, current_database();"
)"
IFS=$'\t' read -r RESTORE_USER RESTORE_DB <<<"$SOURCE_IDENTITY"

STAGE="discover tablespaces"
TABLESPACE_ROWS="$(
  psql "$SOURCE_CONNINFO" -At -F $'\t' -v ON_ERROR_STOP=1 -c \
    "SELECT oid, pg_tablespace_location(oid)
       FROM pg_tablespace
      WHERE pg_tablespace_location(oid) <> ''
      ORDER BY oid;"
)"

declare -a TS_OIDS=()
declare -a TS_BACKUP_DIRS=()
declare -a TS_MAP_ARGS=()

while IFS=$'\t' read -r oid source_ts; do
  [[ -n "${oid:-}" ]] || continue
  backup_ts="$BACKUP_TS_ROOT/$oid"

  TS_OIDS+=("$oid")
  TS_BACKUP_DIRS+=("$backup_ts")

  # -T 两侧必须是绝对路径;映射语法中的等号需要转义。
  old_map="${source_ts//=/\\=}"
  new_map="${backup_ts//=/\\=}"
  TS_MAP_ARGS+=(-T "$old_map=$new_map")
done <<<"$TABLESPACE_ROWS"

STAGE="base backup"
pg_basebackup -d "$SOURCE_CONNINFO" \
  -D "$BACKUP_DIR" -Fp -X stream \
  --manifest-checksums=SHA256 \
  "${TS_MAP_ARGS[@]}"

STAGE="verify backup"
pg_verifybackup "$BACKUP_DIR" >"$VERIFY_LOG" 2>&1
printf 'VERIFY_OK\n'

STAGE="copy restore working set"
cp -a "$BACKUP_DIR"/. "$RESTORE_DIR"/
for i in "${!TS_OIDS[@]}"; do
  oid="${TS_OIDS[$i]}"
  backup_ts="${TS_BACKUP_DIRS[$i]}"
  restore_ts="$RESTORE_TS_ROOT/$oid"

  install -d -m 700 "$restore_ts"
  cp -a "$backup_ts"/. "$restore_ts"/
  rm -f "$RESTORE_DIR/pg_tblspc/$oid"
  ln -s "$restore_ts" "$RESTORE_DIR/pg_tblspc/$oid"
done

# 测试副本按独立主库启动,既不继承恢复信号,也不允许配置把数据或日志写回源路径。
rm -f "$RESTORE_DIR/standby.signal" "$RESTORE_DIR/recovery.signal"

STAGE="start restore instance"
pg_ctl -D "$RESTORE_DIR" -l "$SERVER_LOG" \
  -o "-p $PORT -k $SOCKET_DIR -c data_directory=$RESTORE_DIR -c listen_addresses= -c ssl=off -c archive_mode=off -c logging_collector=off -c external_pid_file= -c hba_file=$HBA_FILE" \
  -w start >/dev/null

STAGE="sql acceptance"
RESTORE_RESULT="$(
  psql -h "$SOCKET_DIR" -p "$PORT" -U "$RESTORE_USER" -d "$RESTORE_DB" \
    -v ON_ERROR_STOP=1 -Atqc \
    "SELECT CASE
       WHEN current_setting('server_version_num')::int > 0
       THEN 'RESTORE_OK'
       ELSE 'RESTORE_FAIL'
     END;"
)"
[[ "$RESTORE_RESULT" == "RESTORE_OK" ]]
printf '%s\n' "$RESTORE_RESULT"
STAGE="complete"

预期输出:

text
VERIFY_OK
RESTORE_OK

RUN_ID、目录、进程号和端口的实际值会随环境不同。脚本启用 set -Eeuo pipefail:源元数据查询、基础备份、pg_verifybackup、表空间复制、实例启动或 SQL 验收任一步失败,整体都会以非零状态退出。成功时只清理恢复工作目录;失败时保留 DIAG_DIR 中的校验日志、启动日志、失败阶段和 RUN_ID,便于后续诊断。

脚本在备份阶段没有预先创建每个 BACKUP_TS_ROOT/<OID>,而是让 pg_basebackup 创建目标表空间目录;恢复阶段则使用 cp -a "$backup_ts"/. "$restore_ts"/ 复制目录内容,避免把整个源目录再嵌套一层。随后重建符号链接,因此测试实例不会沿用生产表空间路径,也不会直接写入保留的备份表空间。

把 SQL 检查升级为业务验收

RESTORE_OK 只证明恢复副本能够启动并接受查询。生产环境还应增加能识别“恢复了错误副本”或“关键数据不完整”的业务不变量,例如关键 Schema 与核心表必须存在、最近完成业务数据的时间不能早于允许窗口、指定迁移版本必须存在,以及必须加载的扩展可用。

不要把自然波动的精确行数写死。范围、时间窗口和存在性约束更稳定,也更适合长期自动化。业务验收 SQL 最好独立版本管理,让业务团队调整规则时不必修改负责备份、表空间映射和启动实例的基础设施脚本。

隔离验证实例并交给调度器验收

恢复副本包含生产时刻的数据与配置,启动前必须主动阻断外部副作用。示例强制测试 data_directory、空 listen_addresses、独立 Unix Socket、临时本地 HBA、ssl=off、archive_mode=off 与 logging_collector=off,避免监听 TCP、继续归档或把日志写到复制自源库的外部目录;但这些设置不能阻止预加载扩展或后台任务主动访问外部系统,因此验证主机、容器或网络命名空间仍应通过防火墙阻断生产消息队列、对象存储和业务服务。

如果源库依赖预加载扩展、外部配置或操作系统库,验证环境应准备与真实恢复目标一致的依赖。调度器、CI 或作业平台只以脚本整体退出码作为成功条件,并记录备份生成时间、恢复验证时间、PostgreSQL 版本、RUN_ID 和最终业务验收结果。真正有价值的指标不是“昨晚备份任务绿色”,而是最近一份备份已在隔离环境完成完整性校验、表空间重定位、成功启动并通过约定的 SQL 验收。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

自动化备份与恢复验证

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通