PostgreSQL / 系统课时

建立故障切换前健康门禁

建立故障切换前健康门禁

故障切换不是“备库能连上就可以提升”。切换前要同时验证可达性、恢复状态、WAL 接收与回放差距、时间线、磁盘余量和旧主写入隔离,并把不同复制差距对应到不同风险,任何关键证据无法解释都应阻断提升。

学习目标

  • 用 SQL 和系统命令检查候选备库是否具备提升条件
  • 区分主库到接收点的差距与接收点到回放点的积压,正确评估数据风险
  • 把时间线、磁盘、可达性和旧主写入隔离纳入可执行的切换门禁

先定义“可以切换”的最低条件

候选备库至少应满足五类条件:节点可连接且 PostgreSQL 正常响应;仍处于恢复状态且 WAL 回放没有暂停;复制进度满足业务允许的数据损失边界;时间线与预期拓扑一致;数据盘和 WAL 所在文件系统没有逼近容量风险。

复制进度必须拆成两段判断。第一段是主库当前持久化 WAL 到候选备库接收点的差距,它反映还有多少 WAL 尚未可靠到达候选节点;只有主库仍可访问,或主库侧仍保留候选备库的复制状态时,才能直接补充这部分证据。第二段是候选备库已接收位置到已回放位置的差距,它反映 WAL 已经到达但尚未应用到数据库状态的积压。

因此,receive_lsn - replay_lsn 不能代表候选备库相对主库的完整落后量。主库已经永久失联时,只能把候选备库已知的接收点和回放点当作当前恢复边界,不能据此证明丢失 WAL 的精确数量,更不能声称已经满足零数据丢失。

切换前健康门禁流程

在候选备库读取恢复与回放状态

先登录候选备库读取恢复状态。pg_last_wal_receive_lsn() 表示流复制最近接收并同步到磁盘的 WAL 位置,pg_last_wal_replay_lsn() 表示已经回放的位置;二者差值只描述候选备库内部的接收到回放积压。

sql
SELECT
    pg_is_in_recovery() AS in_recovery,
    pg_is_wal_replay_paused() AS replay_paused,
    pg_last_wal_receive_lsn() AS receive_lsn,
    pg_last_wal_replay_lsn() AS replay_lsn,
    pg_size_pretty(
        pg_wal_lsn_diff(
            pg_last_wal_receive_lsn(),
            pg_last_wal_replay_lsn()
        )
    ) AS receive_to_replay_gap,
    clock_timestamp() - pg_last_xact_replay_timestamp() AS replay_age,
    (SELECT timeline_id FROM pg_control_checkpoint()) AS checkpoint_tli;

预期结果

text
 in_recovery | replay_paused | receive_lsn | replay_lsn | receive_to_replay_gap | replay_age      | checkpoint_tli
-------------+---------------+-------------+------------+-----------------------+-----------------+---------------
 t           | f             | <LSN>       | <LSN>      | <VALUE>               | <TIME_INTERVAL> | <ID>

实际 LSN、间隔和时间线编号会随环境变化。首先确认 in_recovery=t 和 replay_paused=f,再检查 receive_to_replay_gap 是否在切换窗口允许的范围内。该差值很小只说明已收到的 WAL 基本回放完成,并不证明主库产生的 WAL 已全部到达候选备库。

replay_age 是距离最近一次事务回放时间的间隔。低写入或空闲系统中它可能持续增大,因此只能作为辅助信号,不能单独作为复制延迟或故障证据。

分别核对上游差距与接收链路

正在通过流复制接收 WAL 的备库,pg_stat_wal_receiver 通常应有一行。received_tli、latest_end_lsn 和 latest_end_time 可以确认最近接收的时间线和上游进度。

sql
SELECT
    status,
    sender_host,
    received_tli,
    written_lsn,
    flushed_lsn,
    latest_end_lsn,
    latest_end_time
FROM pg_stat_wal_receiver;

预期结果

text
 status    | sender_host | received_tli | written_lsn | flushed_lsn | latest_end_lsn | latest_end_time
-----------+-------------+--------------+-------------+-------------+----------------+----------------
 streaming | <HOST>      | <ID>         | <LSN>       | <LSN>       | <LSN>          | <TIME>

查询返回 0 行只说明当前没有 WAL receiver 进程;计划内断链、归档恢复和真实复制故障都可能产生这种结果。切换前必须解释最后一段 WAL 来自哪里,并确认候选节点没有跟随错误的上游或未知时间线。

如果旧主仍可访问,还应从主库侧独立检查主库到候选备库的差距。pg_stat_replication.flush_lsn 是备库最近报告给主库的持久化位置,可与主库当前持久化 WAL 位置比较。应通过 application_name、client_addr 等字段确认正在观察的确实是本次候选节点。

sql
SELECT
    application_name,
    client_addr,
    state,
    pg_current_wal_flush_lsn() AS primary_flush_lsn,
    flush_lsn AS standby_flush_lsn,
    replay_lsn AS standby_replay_lsn,
    pg_size_pretty(
        pg_wal_lsn_diff(pg_current_wal_flush_lsn(), flush_lsn)
    ) AS primary_to_standby_flush_gap
FROM pg_stat_replication
ORDER BY application_name;

预期结果

text
 application_name | client_addr | state     | primary_flush_lsn | standby_flush_lsn | standby_replay_lsn | primary_to_standby_flush_gap
------------------+-------------+-----------+-------------------+-------------------+--------------------+------------------------------
 <NAME>           | <IP>        | streaming | <LSN>             | <LSN>             | <LSN>              | <VALUE>

这里的 primary_to_standby_flush_gap 与备库侧的 receive_to_replay_gap 是两个不同门禁:前者关注 WAL 是否已经从主库可靠传到候选节点,后者关注候选节点是否已经把收到的 WAL 回放完成。采样期间主库仍可能继续产生 WAL,因此数值应视为某一时刻的近似证据,而不是永久不变的边界。

如果主库已经永久失联,主库侧查询自然无法执行。此时不能用候选备库自身很小的 receive_to_replay_gap 推导“只会丢这些数据”;只能记录候选节点最后已接收和已回放的 LSN,并结合故障前监控、同步复制策略或其他可靠证据判断可能的数据损失范围。

检查可达性与磁盘余量

数据库状态正常仍不代表节点具备持续接管能力。用 pg_isready 检查服务响应,再分别检查数据目录和 WAL 所在文件系统。若 pg_wal 位于独立文件系统,应确认实际挂载点也有足够余量。

bash
export STANDBY_HOST="db-standby.example.com"
export STANDBY_PORT="5432"
export PGDATA="/var/lib/postgresql/18/main"

pg_isready -h "$STANDBY_HOST" -p "$STANDBY_PORT" -t 3
ssh "$STANDBY_HOST" "df -h '$PGDATA' '$PGDATA/pg_wal'"

预期输出

text
db-standby.example.com:5432 - accepting connections
Filesystem      Size   Used   Avail  Use%  Mounted on
<DEVICE>        <SIZE> <SIZE> <SIZE> <VALUE>% <PATH>
<DEVICE>        <SIZE> <SIZE> <SIZE> <VALUE>% <PATH>

实际设备名、容量和挂载点会不同。如果数据目录和 pg_wal 位于同一文件系统,出现相同挂载点是正常的。容量门禁不应只依赖固定百分比,而应覆盖切换期间可能产生的 WAL、检查点和业务增长,并预留足够的处置时间。

把检查结果变成真正的切换门禁

值班手册不要只写“检查复制正常”,而要为每项定义证据、阈值和失败动作。可达性失败要先区分数据库不可用还是网络路径故障;回放暂停必须恢复或明确解释;主库到候选接收点的差距超过 RPO 时应阻断或升级决策;接收点到回放点仍有明显积压时,应等待回放或确认提升后的恢复行为。时间线关系无法解释时不要提升,磁盘余量不足则先扩容或降低风险。

最后还要有一条独立于复制健康度的安全门禁:旧主库是否已经确认失去写入资格。候选备库即使所有数据库检查通过,也不等于可以立即提升。没有 fencing、STONITH、云平台隔离或等价的写入隔离证据时,切换仍应被阻断,因为此时最大的风险不是候选备库落后多少,而是旧主重新出现后形成双主。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

建立故障切换前健康门禁

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通