PostgreSQL / 技术文章

PostgreSQL 流复制延迟与中断怎么排查

负责 PostgreSQL 主备值班时,真正困难的通常不是发现“复制有问题”,而是快速判断问题发生在 WAL 生成、发送、网络、备库写入、刷盘还是回放阶段,并区分可继续追平的延迟与必须重建的复制中断。下面给出一套适合 DBA、SRE 和平台工程师值班使用的证据链:先确认复制链路是否仍存活,再用 LSN 切分延迟位置,最后依据 WAL 是否仍可获得决定恢复还是重建。

先区分延迟、中断和无法追平

排障开始时不要只看“延迟秒数”。流复制至少有三种不同状态:链路仍在工作但进度落后、复制连接已经断开、连接恢复后却因为所需 WAL 已不存在而无法继续追平。三者的处置完全不同。

在主库先检查复制会话。pg_stat_replication 中仍存在目标备库,通常意味着 WAL sender 与备库之间至少保持着复制连接;如果目标备库完全消失,应优先排查连接和认证,而不是先分析 replay 延迟。

sql
SELECT application_name,
       client_addr,
       state,
       sync_state,
       sent_lsn,
       write_lsn,
       flush_lsn,
       replay_lsn,
       pg_wal_lsn_diff(sent_lsn, replay_lsn) AS sent_replay_gap_bytes
FROM pg_stat_replication
ORDER BY application_name;

预期结果是目标备库存在一行记录,并能看到 state、四阶段 LSN 与积压字节;正常流式复制通常显示 state = 'streaming'。

text
 application_name | client_addr | state     | sync_state | sent_lsn  | write_lsn | flush_lsn | replay_lsn | sent_replay_gap_bytes
------------------+-------------+-----------+------------+-----------+-----------+-----------+------------+----------------------
 standby1         | <IP>        | streaming | async      | 0/5000100 | 0/5000100 | 0/5000100 | 0/5000000  | <VALUE>

如果备库不在结果中,问题已经不是单纯的“回放慢”;如果会话存在但多个 LSN 的差距持续扩大,则继续定位积压发生在哪个阶段。

用四阶段 LSN 找到延迟发生在哪里

主库的 pg_stat_replication 把一次 WAL 传播拆成 sent_lsn、write_lsn、flush_lsn 和 replay_lsn。不要只计算一个总差值,把相邻阶段分别比较更容易找到瓶颈。

sent_lsn - write_lsn 持续扩大,说明 WAL 已由主库发送进度推进,但备库写入进度没有跟上,重点检查网络吞吐、丢包、WAL receiver 状态以及备库接收端资源。write_lsn - flush_lsn 扩大,重点检查备库 WAL 刷盘和存储延迟。flush_lsn - replay_lsn 扩大,则说明 WAL 已经持久化到备库,但 recovery 回放跟不上,应检查备库 I/O、CPU、恢复冲突和长查询。

可以直接计算三个阶段的字节积压。

sql
SELECT application_name,
       pg_wal_lsn_diff(sent_lsn, write_lsn) AS send_write_gap,
       pg_wal_lsn_diff(write_lsn, flush_lsn) AS write_flush_gap,
       pg_wal_lsn_diff(flush_lsn, replay_lsn) AS flush_replay_gap
FROM pg_stat_replication
ORDER BY application_name;

预期结果应把主要积压集中到某一个或少数阶段,而不是只得到一个无法解释的总延迟值。

text
 application_name | send_write_gap | write_flush_gap | flush_replay_gap
------------------+----------------+-----------------+-----------------
 standby1         | <VALUE>        | <VALUE>         | <VALUE>

单次快照只能说明当前差距,更重要的是连续观察趋势。如果差值稳定且业务 WAL 产生速度较高,备库可能只是保持一个固定距离;如果某一差值持续增长,才说明该阶段处理速度长期低于上游产生速度。

到备库确认接收和回放是否都在前进

主库只能看到备库反馈回来的进度。进入备库后,应分别确认 WAL receiver 是否存在,以及接收位置和回放位置是否继续推进。

sql
SELECT pg_is_in_recovery() AS in_recovery,
       pg_last_wal_receive_lsn() AS receive_lsn,
       pg_last_wal_replay_lsn() AS replay_lsn,
       pg_is_wal_replay_paused() AS replay_paused;

SELECT status,
       sender_host,
       sender_port,
       received_tli,
       written_lsn,
       flushed_lsn,
       latest_end_lsn
FROM pg_stat_wal_receiver;

健康备库应保持 pg_is_in_recovery() = true,回放没有暂停,并且 pg_stat_wal_receiver 能看到活动接收器。LSN 在有新写入时应继续变化。

text
 in_recovery | receive_lsn | replay_lsn | replay_paused
-------------+-------------+------------+---------------
 t           | <VALUE>     | <VALUE>    | f

如果 receive_lsn 在推进而 replay_lsn 长时间不动,问题位于备库回放侧。先确认是否被人为暂停;随后检查 PostgreSQL 日志中的 recovery conflict、存储延迟、CPU 饱和和长时间只读查询。若 WAL receiver 本身不存在或 receive_lsn 不再推进,则转向连接中断排查。

复制连接消失时按网络、认证和进程逐层排查

备库停止接收 WAL 后,先看日志通常比反复重启 PostgreSQL 更有价值。认证失败、连接拒绝、网络超时和所需 WAL 被删除,会留下完全不同的错误信息。

先确认备库仍处于 recovery,并检查连接参数是否指向预期主库。

sql
SELECT pg_is_in_recovery();
SHOW primary_conninfo;

然后从备库节点验证主库端口可达。这里的地址和端口必须使用当前环境已有配置,不应凭空替换生产参数。

bash
pg_isready -h <IP> -p <PORT>

预期结果是主库能够接受连接。

text
<IP>:<PORT> - accepting connections

如果网络可达但复制仍无法建立,检查主库 pg_hba.conf 是否允许该复制账号和备库来源地址,并核对复制角色是否具有 REPLICATION 属性。修改访问控制后需要重新加载配置,而不是直接重启数据库。

sql
SELECT rolname, rolreplication, rolcanlogin
FROM pg_roles
WHERE rolname = '<VALUE>';

SELECT pg_reload_conf();

如果认证与网络均正常,再检查主库是否出现对应 WAL sender,以及备库日志是否反复建立和断开连接。这样可以把“网络不可达”“认证拒绝”“连接建立后又失败”分成不同故障层,而不是全部归为复制中断。

WAL 已被移除时判断能恢复还是必须重建

连接修复并不保证备库能够继续复制。停机时间过长时,备库需要的旧 WAL 可能已经从主库 pg_wal 回收。典型日志会指出 requested WAL segment has already been removed 一类错误。这时继续重启 WAL receiver 不会补回已经不存在的数据。

如果配置了 WAL 归档,先确认缺失 WAL 是否仍在归档仓库,并验证 restore_command 能否让备库恢复该段。如果缺失 WAL 既不在主库,也不在可用归档中,就不存在连续恢复所需的 WAL 历史,通常必须重新建立备库基线。

同时检查物理复制槽。复制槽能够保护备库仍需要的 WAL,但失联槽也可能让主库长期保留 WAL,因此不能把“永不丢 WAL”作为槽管理目标。

sql
SELECT slot_name,
       slot_type,
       active,
       restart_lsn,
       wal_status,
       pg_wal_lsn_diff(pg_current_wal_lsn(), restart_lsn) AS retained_bytes
FROM pg_replication_slots
WHERE slot_type = 'physical'
ORDER BY slot_name;

预期结果应能确认目标槽是否活动、最早保留边界在哪里以及已经保留多少 WAL。

text
 slot_name     | slot_type | active | restart_lsn | wal_status | retained_bytes
---------------+-----------+--------+-------------+------------+---------------
 standby1_slot | physical  | <VALUE>| <VALUE>     | <VALUE>    | <VALUE>

如果目标备库已经确认废弃,不要立即删除槽作为“释放磁盘”的机械动作;应先确认该槽没有承担恢复需求,再执行资源清理。反过来,如果生产设计依赖复制槽,也需要为槽失联、WAL 保留上限和磁盘告警建立明确门禁。

把排障结论收敛成恢复决策

值班排障最终需要形成动作,而不是停留在一组监控数字。可以按证据把故障收敛成四类:复制连接正常且只有 flush_lsn - replay_lsn 增长,优先治理备库回放瓶颈;sent_lsn - write_lsn 增长,优先检查网络和 WAL 接收链路;目标备库从 pg_stat_replication 消失,按网络、认证、连接参数和进程日志排查;连接可以恢复但所需 WAL 已不存在,则检查归档,无法补齐时重新基准备份。

恢复后不要只确认“streaming 又出现了”。至少重新检查复制状态、LSN 差距是否持续收敛、备库是否保持 recovery,以及业务允许的 RPO 边界是否重新满足。

sql
SELECT application_name,
       state,
       sent_lsn,
       write_lsn,
       flush_lsn,
       replay_lsn,
       pg_wal_lsn_diff(sent_lsn, replay_lsn) AS remaining_gap
FROM pg_stat_replication
ORDER BY application_name;

预期结果是目标备库恢复 streaming,且在持续观察窗口内 remaining_gap 不再单调扩大,并能逐步下降到业务设定的健康范围。

text
 application_name | state     | sent_lsn | write_lsn | flush_lsn | replay_lsn | remaining_gap
------------------+-----------+----------+-----------+-----------+------------+--------------
 standby1         | streaming | <VALUE>  | <VALUE>   | <VALUE>   | <VALUE>    | <VALUE>

这套方法的关键不是记住某个固定延迟阈值,而是始终保留完整因果链:复制会话是否存在、哪个 LSN 阶段停止推进、备库接收与回放是否活跃、所需 WAL 是否仍可获得。只要这四类证据能够对应起来,就能在延迟、连接中断和 WAL 历史缺失之间做出可验证的恢复判断。

目录与阅读设置

记录一个想法

PostgreSQL 流复制延迟与中断怎么排查

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通