PostgreSQL / 系统课时

使用 pg_combinebackup 合并备份链

使用 pg_combinebackup 合并备份链

PostgreSQL 17+ 的增量备份不能直接作为数据目录启动。pg_combinebackup 要先按依赖链重建 synthetic full;本课完成链路预检、合并、完整性验证,并通过隔离副本实际回放所需 WAL,确认结果可恢复。

学习目标

  • 按从最旧到最新的顺序向 pg_combinebackup 提供完整依赖链
  • 使用 dry run、pg_verifybackup 与隔离恢复分层验证合并结果
  • 判断 synthetic full 何时可以替代原备份链作为恢复资产

先核对输入链

假设已有三份 plain 格式备份:/backup/full-001、/backup/inc-001、/backup/inc-002,且 inc-001 依赖全量、inc-002 依赖 inc-001。合并时必须把所需备份从最旧到最新全部列出,不能只给最后一个增量目录。

先用 dry run 检查这些目录能否组成合法链;目标目录 /restore/combined-002 应当尚不存在。dry run 只验证备份之间是否能合法组合,不会替代对每份备份内容的完整性校验。

bash
pg_combinebackup -n -o /restore/combined-002 /backup/full-001 /backup/inc-001 /backup/inc-002 && echo "chain is valid"

预期输出:

text
chain is valid

若顺序颠倒、缺少中间依赖或备份不属于同一可衔接链,应在这里停止,不要继续生成恢复资产。

pg_combinebackup 从增量链生成 synthetic full 的处理流程

生成 synthetic full

确认链路无误后执行实际合并。-o 指定新的输出目录;默认采用普通文件复制,并在返回前等待文件安全同步到磁盘。生产备份不要为了加速而随意使用 -N 或 --no-sync。

bash
pg_combinebackup -o /restore/combined-002 /backup/full-001 /backup/inc-001 /backup/inc-002
test -f /restore/combined-002/backup_manifest && echo "combined backup ready"

预期输出:

text
combined backup ready

输出目录是一份重建后的完整备份,不是“最后一个增量再加补丁文件”。默认情况下 pg_combinebackup 会生成新的 backup_manifest,因此这份 synthetic full 可以独立验证,也可以在后续合并时替代其来源链。若集群在备份链期间变更过数据页校验和状态,应额外核对 pg_combinebackup 的校验和限制,不要把跨状态链直接视为可用。

验证文件与 WAL 完整性

先用与备份主版本匹配的 pg_verifybackup 检查 manifest、文件尺寸、校验和以及恢复该备份所必需的 WAL 范围。下面假设 <WAL_ARCHIVE> 是本地可读、未压缩且以 WAL 文件名直接存放的归档目录;对象存储或压缩归档应先把所需 WAL 物化到本地目录。

bash
WAL_ARCHIVE='<WAL_ARCHIVE>'
pg_verifybackup --wal-directory="$WAL_ARCHIVE" /restore/combined-002

预期输出:

text
backup successfully verified

这一步通过不等于恢复演练通过。pg_verifybackup 能验证 manifest 描述的文件以及让该备份达到一致状态所需的 WAL,但不能证明扩展、表空间、应用查询或任意 PITR 目标都能正常恢复;若要恢复到备份结束点之后,还必须继续保留目标时刻之前的后续 WAL。

按恢复流程做隔离验收

synthetic full 仍然是一份基础备份,不能把“直接对输出目录运行 pg_ctl”当作通用验收。可重复的验收应复制出独立 PGDATA,清理恢复副本中的 pg_wal,配置 restore_command,创建 recovery.signal,再让 PostgreSQL 实际回放归档 WAL。这里使用 recovery_target = 'immediate',使验证停在该备份达到一致状态的最早点,也就是在线备份结束点。

下面假设没有用户表空间,且 pg_wal 不是符号链接;有表空间时应在合并阶段使用 -T olddir=newdir 映射到隔离路径。运行前把 <WAL_ARCHIVE> 替换为归档目录,把 <PORT> 替换为未占用端口,并使用有权运行 PostgreSQL 的操作系统账号执行。

bash
TEST_PGDATA=/restore/combined-002-test
WAL_ARCHIVE='<WAL_ARCHIVE>'
PORT='<PORT>'

rm -rf "$TEST_PGDATA"
mkdir -p "$TEST_PGDATA"
cp -a /restore/combined-002/. "$TEST_PGDATA"/
chmod 700 "$TEST_PGDATA"

if [ -L "$TEST_PGDATA/pg_wal" ]; then
  echo "pg_wal is a symlink; rebuild an isolated WAL target first" >&2
  exit 1
fi

mkdir -p "$TEST_PGDATA/pg_wal"
find "$TEST_PGDATA/pg_wal" -mindepth 1 -maxdepth 1 -exec rm -rf -- {} +

cat >> "$TEST_PGDATA/postgresql.auto.conf" <<EOF
restore_command = 'cp $WAL_ARCHIVE/%f %p'
recovery_target = 'immediate'
EOF
touch "$TEST_PGDATA/recovery.signal"

pg_ctl -D "$TEST_PGDATA" -o "-p $PORT -c listen_addresses=127.0.0.1 -c archive_mode=off" -l /restore/combined-002-test.log -w -t 300 -s start
pg_isready -h 127.0.0.1 -p "$PORT"

deadline=$((SECONDS + 300))
state=""
while [ "$SECONDS" -lt "$deadline" ]; do
  state=$(psql -X -h 127.0.0.1 -p "$PORT" -d postgres -Atc "SELECT pg_is_in_recovery();" 2>/dev/null || true)
  [ "$state" = "f" ] && break
  sleep 1
done

test "$state" = "f"
test ! -e "$TEST_PGDATA/recovery.signal"
echo "archive recovery completed"

pg_ctl -D "$TEST_PGDATA" -m fast -w -s stop
echo "restore test completed"

预期输出:

text
127.0.0.1:<PORT> - accepting connections
archive recovery completed
restore test completed

实际端口、日志时间和进程信息可能不同。pg_is_in_recovery() 最终为 f 且 recovery.signal 被移除,才说明这份 synthetic full 已按归档恢复流程完成恢复,而不只是“文件看起来完整”。若启动失败或 300 秒内未结束,应检查恢复日志、restore_command、WAL 缺口、时间线以及表空间路径;验证具体 PITR 目标时,再把 recovery_target = 'immediate' 替换成对应的 recovery_target_time、recovery_target_lsn 或其他目标配置。

管理合并后的备份资产

当 synthetic full 已通过 pg_verifybackup 和隔离恢复,它可以替代来源链作为后续 pg_combinebackup 的前置输入,也可以作为新的恢复起点保存,但仍必须连同满足恢复目标的 WAL 一起管理。PostgreSQL 不会替你维护增量备份之间的依赖关系。

清理旧全量或增量目录前,应先证明所有仍保留的后续增量都能以 synthetic full 为前置输入完成组合,并记录备份时间、manifest、WAL 范围、验证状态和恢复演练结果。pg_combinebackup 解决的是数据文件重建;真正可交付的恢复资产还包括正确的 WAL、隔离后的表空间路径和经过验证的恢复流程。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

使用 pg_combinebackup 合并备份链

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通