PostgreSQL / 系统课时

WAL 归档

WAL 归档

WAL 归档的目标不是“多留一份日志”,而是把已完成的 WAL 段可靠地送到独立存储,使基础备份之后的每次变更都可重放。本节完成一套可失败重试、可验证、能支撑 PITR 的归档配置。

学习目标

  • 理解 WAL 段从 pg_wal 到归档目录的交付链路
  • 配置不会静默覆盖冲突文件的 archive_command
  • 用归档统计、强制切段和段文件校验确认归档可用

WAL 归档在做什么

PostgreSQL 先把变更写入 WAL。一个 WAL 段完成后,归档进程调用 archive_command:%p 会替换成待归档文件的路径,%f 会替换成文件名。命令退出码为 0 才表示本段已成功归档;非 0 会让 PostgreSQL 之后重试,因此脚本必须把“已存在且内容相同”视为成功,把内容冲突视为失败。

WAL 从生成到归档的交付链路

归档目录必须与主数据目录故障域隔离。若归档目录和 PGDATA 位于同一块磁盘,数据库磁盘损坏时可能同时丢掉基础备份之后的 WAL,PITR 链路也就失效。

配置可靠的归档命令

启用连续归档至少需要 wal_level 能支持归档恢复、开启 archive_mode,并设置归档命令。下面示例使用一个包装脚本:目标文件不存在时先复制到临时文件再原子改名;目标已存在时先比较内容,完全一致才返回成功。

text
wal_level = replica
archive_mode = on
archive_command = '/usr/local/bin/archive-wal.sh "%p" "%f"'

wal_level 和 archive_mode 的变更需要重启实例;仅修改 archive_command 时可重新加载配置。归档目录应预先创建,并只允许数据库操作系统账号写入。

完整的 /usr/local/bin/archive-wal.sh 可以写成:

bash
#!/usr/bin/env bash
set -euo pipefail

src="$1"
name="$2"
archive_dir="/var/lib/postgresql/wal-archive"
dst="$archive_dir/$name"

# 同名文件已存在时,只接受字节完全一致的副本。
if [[ -f "$dst" ]]; then
  cmp -s "$src" "$dst"
  exit $?
fi

tmp="$archive_dir/.${name}.tmp.$$"
cp -- "$src" "$tmp"
chmod 600 "$tmp"
mv -- "$tmp" "$dst"

脚本正常归档时不需要标准输出;archive_command 只依据退出码判断结果。若同名文件内容不同,cmp 返回非 0,PostgreSQL 会保留待归档 WAL 并继续重试,而不是把冲突悄悄覆盖掉。

验证配置与归档进度

重启后先确认参数确实生效,再观察归档器统计。下面查询不会依赖日志文本格式,适合写进巡检脚本。

sql
SELECT
  current_setting('wal_level') AS wal_level,
  current_setting('archive_mode') AS archive_mode,
  current_setting('archive_command') LIKE '%archive-wal.sh%' AS command_set;

SELECT
  archived_count,
  failed_count,
  last_archived_wal,
  last_failed_wal
FROM pg_stat_archiver;

预期结果

text
 wal_level | archive_mode | command_set
-----------+--------------+-------------
 replica   | on           | t

 archived_count | failed_count |    last_archived_wal     | last_failed_wal
----------------+--------------+--------------------------+-----------------
 <N>            | <N>          | <WAL_FILE>               | <WAL_FILE_OR_NULL>

failed_count 不是必须永远为 0,因为短暂故障也会被累计;真正需要关注的是它是否持续增长、last_failed_wal 是否长时间不变,以及 pg_wal 是否因归档失败不断堆积。

强制切段并检查完整性

在有写入活动后,可用 pg_switch_wal() 让当前 WAL 段尽快进入归档流程。下面脚本等待 pg_stat_archiver.last_archived_wal 发生变化,并确认归档目录中确实出现该文件。

bash
set -euo pipefail

before="$(psql -AtX -c "SELECT COALESCE(last_archived_wal, '') FROM pg_stat_archiver")"
psql -AtX -c "SELECT pg_switch_wal()" >/dev/null

for _ in {1..30}; do
  wal="$(psql -AtX -c "SELECT COALESCE(last_archived_wal, '') FROM pg_stat_archiver")"
  if [[ -n "$wal" && "$wal" != "$before" && -f "/var/lib/postgresql/wal-archive/$wal" ]]; then
    pg_waldump -p /var/lib/postgresql/wal-archive "$wal" >/dev/null
    echo "$wal"
    exit 0
  fi
  sleep 1
done

echo "archive verification timed out" >&2
exit 1

预期输出

text
<WAL_FILE>

<WAL_FILE> 的实际值随时间线和 WAL 位置变化。pg_waldump 能发现明显的段文件解析问题,但它不能证明整条恢复链没有缺口;真正的端到端完整性验证仍应定期从基础备份启动恢复,并连续读取归档 WAL。归档监控负责尽早发现失败,恢复演练才负责证明这些文件真的能把数据库带回目标状态。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

WAL 归档

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通