PostgreSQL / 技术文章
PostgreSQL 流复制延迟与中断怎么排查
负责 PostgreSQL 主备值班时,真正困难的通常不是发现“复制有问题”,而是快速判断问题发生在 WAL 生成、发送、网络、备库写入、刷盘还是回放阶段,并区分可继续追平的延迟与必须重建的复制中断。下面给出一套适合 DBA、SRE 和平台工程师值班使用的证据链:先确认复制链路是否仍存活,再用 LSN 切分延迟位置,最后依据 WAL 是否仍可获得决定恢复还是重建。
先区分延迟、中断和无法追平
排障开始时不要只看“延迟秒数”。流复制至少有三种不同状态:链路仍在工作但进度落后、复制连接已经断开、连接恢复后却因为所需 WAL 已不存在而无法继续追平。三者的处置完全不同。
在主库先检查复制会话。pg_stat_replication 中仍存在目标备库,通常意味着 WAL sender 与备库之间至少保持着复制连接;如果目标备库完全消失,应优先排查连接和认证,而不是先分析 replay 延迟。
SELECT application_name,
client_addr,
state,
sync_state,
sent_lsn,
write_lsn,
flush_lsn,
replay_lsn,
pg_wal_lsn_diff(sent_lsn, replay_lsn) AS sent_replay_gap_bytes
FROM pg_stat_replication
ORDER BY application_name;预期结果是目标备库存在一行记录,并能看到 state、四阶段 LSN 与积压字节;正常流式复制通常显示 state = 'streaming'。
application_name | client_addr | state | sync_state | sent_lsn | write_lsn | flush_lsn | replay_lsn | sent_replay_gap_bytes
------------------+-------------+-----------+------------+-----------+-----------+-----------+------------+----------------------
standby1 | <IP> | streaming | async | 0/5000100 | 0/5000100 | 0/5000100 | 0/5000000 | <VALUE>如果备库不在结果中,问题已经不是单纯的“回放慢”;如果会话存在但多个 LSN 的差距持续扩大,则继续定位积压发生在哪个阶段。
用四阶段 LSN 找到延迟发生在哪里
主库的 pg_stat_replication 把一次 WAL 传播拆成 sent_lsn、write_lsn、flush_lsn 和 replay_lsn。不要只计算一个总差值,把相邻阶段分别比较更容易找到瓶颈。
sent_lsn - write_lsn 持续扩大,说明 WAL 已由主库发送进度推进,但备库写入进度没有跟上,重点检查网络吞吐、丢包、WAL receiver 状态以及备库接收端资源。write_lsn - flush_lsn 扩大,重点检查备库 WAL 刷盘和存储延迟。flush_lsn - replay_lsn 扩大,则说明 WAL 已经持久化到备库,但 recovery 回放跟不上,应检查备库 I/O、CPU、恢复冲突和长查询。
可以直接计算三个阶段的字节积压。
SELECT application_name,
pg_wal_lsn_diff(sent_lsn, write_lsn) AS send_write_gap,
pg_wal_lsn_diff(write_lsn, flush_lsn) AS write_flush_gap,
pg_wal_lsn_diff(flush_lsn, replay_lsn) AS flush_replay_gap
FROM pg_stat_replication
ORDER BY application_name;预期结果应把主要积压集中到某一个或少数阶段,而不是只得到一个无法解释的总延迟值。
application_name | send_write_gap | write_flush_gap | flush_replay_gap
------------------+----------------+-----------------+-----------------
standby1 | <VALUE> | <VALUE> | <VALUE>单次快照只能说明当前差距,更重要的是连续观察趋势。如果差值稳定且业务 WAL 产生速度较高,备库可能只是保持一个固定距离;如果某一差值持续增长,才说明该阶段处理速度长期低于上游产生速度。
到备库确认接收和回放是否都在前进
主库只能看到备库反馈回来的进度。进入备库后,应分别确认 WAL receiver 是否存在,以及接收位置和回放位置是否继续推进。
SELECT pg_is_in_recovery() AS in_recovery,
pg_last_wal_receive_lsn() AS receive_lsn,
pg_last_wal_replay_lsn() AS replay_lsn,
pg_is_wal_replay_paused() AS replay_paused;
SELECT status,
sender_host,
sender_port,
received_tli,
written_lsn,
flushed_lsn,
latest_end_lsn
FROM pg_stat_wal_receiver;健康备库应保持 pg_is_in_recovery() = true,回放没有暂停,并且 pg_stat_wal_receiver 能看到活动接收器。LSN 在有新写入时应继续变化。
in_recovery | receive_lsn | replay_lsn | replay_paused
-------------+-------------+------------+---------------
t | <VALUE> | <VALUE> | f如果 receive_lsn 在推进而 replay_lsn 长时间不动,问题位于备库回放侧。先确认是否被人为暂停;随后检查 PostgreSQL 日志中的 recovery conflict、存储延迟、CPU 饱和和长时间只读查询。若 WAL receiver 本身不存在或 receive_lsn 不再推进,则转向连接中断排查。
复制连接消失时按网络、认证和进程逐层排查
备库停止接收 WAL 后,先看日志通常比反复重启 PostgreSQL 更有价值。认证失败、连接拒绝、网络超时和所需 WAL 被删除,会留下完全不同的错误信息。
先确认备库仍处于 recovery,并检查连接参数是否指向预期主库。
SELECT pg_is_in_recovery();
SHOW primary_conninfo;然后从备库节点验证主库端口可达。这里的地址和端口必须使用当前环境已有配置,不应凭空替换生产参数。
pg_isready -h <IP> -p <PORT>预期结果是主库能够接受连接。
<IP>:<PORT> - accepting connections如果网络可达但复制仍无法建立,检查主库 pg_hba.conf 是否允许该复制账号和备库来源地址,并核对复制角色是否具有 REPLICATION 属性。修改访问控制后需要重新加载配置,而不是直接重启数据库。
SELECT rolname, rolreplication, rolcanlogin
FROM pg_roles
WHERE rolname = '<VALUE>';
SELECT pg_reload_conf();如果认证与网络均正常,再检查主库是否出现对应 WAL sender,以及备库日志是否反复建立和断开连接。这样可以把“网络不可达”“认证拒绝”“连接建立后又失败”分成不同故障层,而不是全部归为复制中断。
WAL 已被移除时判断能恢复还是必须重建
连接修复并不保证备库能够继续复制。停机时间过长时,备库需要的旧 WAL 可能已经从主库 pg_wal 回收。典型日志会指出 requested WAL segment has already been removed 一类错误。这时继续重启 WAL receiver 不会补回已经不存在的数据。
如果配置了 WAL 归档,先确认缺失 WAL 是否仍在归档仓库,并验证 restore_command 能否让备库恢复该段。如果缺失 WAL 既不在主库,也不在可用归档中,就不存在连续恢复所需的 WAL 历史,通常必须重新建立备库基线。
同时检查物理复制槽。复制槽能够保护备库仍需要的 WAL,但失联槽也可能让主库长期保留 WAL,因此不能把“永不丢 WAL”作为槽管理目标。
SELECT slot_name,
slot_type,
active,
restart_lsn,
wal_status,
pg_wal_lsn_diff(pg_current_wal_lsn(), restart_lsn) AS retained_bytes
FROM pg_replication_slots
WHERE slot_type = 'physical'
ORDER BY slot_name;预期结果应能确认目标槽是否活动、最早保留边界在哪里以及已经保留多少 WAL。
slot_name | slot_type | active | restart_lsn | wal_status | retained_bytes
---------------+-----------+--------+-------------+------------+---------------
standby1_slot | physical | <VALUE>| <VALUE> | <VALUE> | <VALUE>如果目标备库已经确认废弃,不要立即删除槽作为“释放磁盘”的机械动作;应先确认该槽没有承担恢复需求,再执行资源清理。反过来,如果生产设计依赖复制槽,也需要为槽失联、WAL 保留上限和磁盘告警建立明确门禁。
把排障结论收敛成恢复决策
值班排障最终需要形成动作,而不是停留在一组监控数字。可以按证据把故障收敛成四类:复制连接正常且只有 flush_lsn - replay_lsn 增长,优先治理备库回放瓶颈;sent_lsn - write_lsn 增长,优先检查网络和 WAL 接收链路;目标备库从 pg_stat_replication 消失,按网络、认证、连接参数和进程日志排查;连接可以恢复但所需 WAL 已不存在,则检查归档,无法补齐时重新基准备份。
恢复后不要只确认“streaming 又出现了”。至少重新检查复制状态、LSN 差距是否持续收敛、备库是否保持 recovery,以及业务允许的 RPO 边界是否重新满足。
SELECT application_name,
state,
sent_lsn,
write_lsn,
flush_lsn,
replay_lsn,
pg_wal_lsn_diff(sent_lsn, replay_lsn) AS remaining_gap
FROM pg_stat_replication
ORDER BY application_name;预期结果是目标备库恢复 streaming,且在持续观察窗口内 remaining_gap 不再单调扩大,并能逐步下降到业务设定的健康范围。
application_name | state | sent_lsn | write_lsn | flush_lsn | replay_lsn | remaining_gap
------------------+-----------+----------+-----------+-----------+------------+--------------
standby1 | streaming | <VALUE> | <VALUE> | <VALUE> | <VALUE> | <VALUE>这套方法的关键不是记住某个固定延迟阈值,而是始终保留完整因果链:复制会话是否存在、哪个 LSN 阶段停止推进、备库接收与回放是否活跃、所需 WAL 是否仍可获得。只要这四类证据能够对应起来,就能在延迟、连接中断和 WAL 历史缺失之间做出可验证的恢复判断。