PostgreSQL / 技术文章
PostgreSQL 逻辑复制延迟怎么排查
逻辑复制延迟最棘手的地方不是“看见落后”,而是判断积压究竟发生在发布端解码、网络传输、订阅端接收还是 Apply Worker 应用阶段。下面给 DBA、SRE 与迁移平台工程师一套可重复取证的方法,最终能把延迟归因到具体链路,并选择不会扩大数据风险的恢复动作。
先把“复制延迟”拆成四段
逻辑复制不是一个单一队列。排查时可以把链路拆成四段:发布端产生 WAL,逻辑复制槽解码并由 walsender 发送,订阅端接收变更,Apply Worker 再把事务提交到目标表。初始表同步还会额外出现 table synchronization worker,因此“订阅创建后很久没追平”与“稳定运行后突然落后”不能混为一类。
最重要的原则是同时看“位置差”和“位置是否持续推进”。单个时间字段容易误导:发布端暂时没有新事务时,时间差可能继续变大;而一个超大事务尚未提交时,LSN 可以前进但业务可见数据仍没有同步完成。排障时至少连续采样两到三次,观察每个位置的移动速度。
对稳定复制链路,可以用下面四个问题快速定向:
| 现象 | 优先怀疑 |
|---|---|
发布端当前 WAL 持续前进,但逻辑槽 confirmed_flush_lsn 基本不动 |
订阅连接、中间网络、发送或消费链路 |
订阅端 received_lsn 长时间不动,且最近消息时间持续变旧 |
上游发送、网络或订阅连接 |
received_lsn 在前进,但复制 origin 的 remote_lsn 明显落后 |
Apply Worker 应用能力或阻塞 |
| Apply Worker 不存在或反复重启 | 冲突、权限、Worker 资源不足或进程错误 |
用一次订阅端采样先判断“有没有收到”
先在订阅端查看每个订阅 Worker。为了兼容多个常见主版本,下面只使用长期存在的列;稳定阶段主 Apply Worker 通常表现为 relid IS NULL 且 received_lsn 非空,初始表同步 Worker 则会带具体 relid。
SELECT
subid,
subname,
pid,
relid::regclass AS relation,
received_lsn,
latest_end_lsn,
now() - last_msg_receipt_time AS since_last_message,
now() - latest_end_time AS since_latest_end
FROM pg_stat_subscription
ORDER BY subname, relid NULLS FIRST, pid;先不要急着把 since_last_message 当作“业务延迟秒数”。更有效的判读是连续执行这条 SQL:如果发布端正在持续写入,而 last_msg_receipt_time 越来越旧、received_lsn 也不前进,问题大概率还没有到 Apply 阶段,应检查订阅是否启用、发布端 walsender、连接重试与网络状态。
如果启用的订阅连 apply worker 都没有,先确认订阅本身的状态,再去看数据库日志,而不是直接重建 Subscription。
SELECT
oid,
subname,
subenabled,
subslotname,
subpublications
FROM pg_subscription
ORDER BY subname;subenabled = true 但 pg_stat_subscription 中长期没有对应 apply worker,说明“延迟”很可能已经变成复制进程无法正常运行。此时重建复制槽会丢失最有价值的现场信息,也可能把原本可恢复的问题变成重新全量同步。
发布端看复制槽:区分消费停滞与 WAL 保留风险
在发布端,逻辑槽的 confirmed_flush_lsn 表示消费者已确认到的位置,restart_lsn 则关系到槽仍需要保留的更老 WAL。它们与当前 WAL 的字节距离适合判断“积压和磁盘风险”,但不能直接等价成“还有多少业务行没同步”,因为 WAL 是集群级字节流,还包含与该 Publication 无关的变化。
SELECT
slot_name,
database,
active,
active_pid,
restart_lsn,
confirmed_flush_lsn,
pg_size_pretty(
pg_wal_lsn_diff(pg_current_wal_lsn(), confirmed_flush_lsn)
) AS confirmed_gap,
pg_size_pretty(
pg_wal_lsn_diff(pg_current_wal_lsn(), restart_lsn)
) AS retained_gap
FROM pg_replication_slots
WHERE slot_type = 'logical'
ORDER BY slot_name;重点观察三件事。第一,active = false 且业务本应持续复制,先查订阅连接或 Worker 是否退出。第二,confirmed_flush_lsn 多次采样都不动,而当前 WAL 快速增长,说明消费端没有持续确认进度。第三,restart_lsn 与当前 WAL 的距离持续扩大,意味着 pg_wal 保留压力也在上升,不能只处理“目标库落后”而忽略源库磁盘风险。
如果版本提供 pg_stat_replication_slots,还可以检查逻辑解码是否频繁 spill 到磁盘。大量 spill 不一定是根因,但在大事务与高写入速率下,会把发布端解码路径从内存压力变成明显 I/O 压力。
SELECT
slot_name,
spill_txns,
spill_count,
pg_size_pretty(spill_bytes) AS spill_bytes,
total_txns,
pg_size_pretty(total_bytes) AS total_bytes
FROM pg_stat_replication_slots
ORDER BY spill_bytes DESC;如果 spill 指标持续快速增加,同时发布端 I/O 饱和,就应结合大事务规模、logical_decoding_work_mem 与存储能力判断,而不是只在订阅端增加 Worker。
订阅端看应用进度:找出“收到了但没落表”
收到 WAL 不代表已经应用完成。订阅端会用 replication origin 记录远端事务已经重放到哪个 LSN;内置 Subscription 的主 origin 名称可由订阅 OID 对应到 pg_<OID>。把它和 apply worker 的 received_lsn 放在一起,就能得到一个很有用的“接收至应用”近似距离。
WITH apply_worker AS (
SELECT
subid,
subname,
received_lsn
FROM pg_stat_subscription
WHERE relid IS NULL
AND received_lsn IS NOT NULL
)
SELECT
aw.subname,
aw.received_lsn,
ros.remote_lsn AS applied_remote_lsn,
pg_size_pretty(
pg_wal_lsn_diff(aw.received_lsn, ros.remote_lsn)
) AS receive_apply_gap
FROM apply_worker AS aw
JOIN pg_subscription AS s
ON s.oid = aw.subid
LEFT JOIN pg_replication_origin_status AS ros
ON ros.external_id = 'pg_' || s.oid::text
ORDER BY aw.subname;这里的字节差同样是定位指标,不是精确的业务行数。如果 received_lsn 持续推进,而 applied_remote_lsn 很慢甚至不动,就把注意力转到 Apply Worker:它可能在等锁、等 I/O、处理超大事务,或者因为错误不断退出并重启。
先看复制进程正在等待什么:
SELECT
pid,
backend_type,
state,
wait_event_type,
wait_event,
xact_start,
query_start
FROM pg_stat_activity
WHERE backend_type ILIKE '%logical replication%'
ORDER BY pid;当 wait_event_type = 'Lock' 时,继续找阻塞者,比重启订阅更有价值。
SELECT
a.pid AS apply_pid,
a.wait_event_type,
a.wait_event,
pg_blocking_pids(a.pid) AS blocking_pids
FROM pg_stat_activity AS a
WHERE a.backend_type ILIKE '%logical replication%'
AND cardinality(pg_blocking_pids(a.pid)) > 0;如果没有锁等待,但订阅端 CPU、数据盘写延迟或 WAL 写入压力已经到瓶颈,Apply Worker 可能只是单纯“消费速度低于发布速度”。这时应比较一段固定窗口内的 receive_apply_gap 是扩大、持平还是缩小:扩大说明吞吐不足,持平说明只能勉强跟住,持续缩小才代表正在追平。
别把初始同步、大事务和冲突误判成普通性能问题
初始数据复制期间,某些表还没有进入正常的 ready 状态。先看 pg_subscription_rel,避免把“某张大表仍在 COPY”误诊成稳定阶段的 Apply 延迟。
SELECT
s.subname,
r.srrelid::regclass AS relation,
r.srsubstate,
r.srsublsn
FROM pg_subscription_rel AS r
JOIN pg_subscription AS s
ON s.oid = r.srsubid
ORDER BY s.subname, relation;srsubstate = 'r' 表示该表已经进入正常复制;如果大量表仍停留在初始化、复制或同步状态,应优先分析初始 COPY 的表大小、源端读取、目标端写入和 table synchronization worker 数量。
第二类常见假象是大事务。发布端一个持续很久、修改量很大的事务,会让解码、传输和应用呈现突发式压力;即使新版本支持流式处理进行中的事务,最终提交顺序和目标端落地成本仍可能造成明显追平窗口。此时应把“最大的未提交事务或刚提交事务”与延迟开始时间对齐,而不是只调网络参数。
第三类是冲突或 Apply 错误。它们经常表现为“延迟突然无限增长”,本质却不是慢,而是复制停止。先看订阅错误计数,再结合订阅端 PostgreSQL 日志定位具体事务和表。pg_stat_subscription_stats 可用于 PostgreSQL 15 及之后的版本;更早版本应以订阅端日志为主。
SELECT
subname,
apply_error_count,
sync_error_count,
stats_reset
FROM pg_stat_subscription_stats
ORDER BY subname;如果 apply_error_count 增长,先修复冲突、权限或目标数据问题。不要把 ALTER SUBSCRIPTION ... SKIP 或手工推进 replication origin 当作常规提速手段:这类操作会明确放弃某个远端事务的变更,只有在已经确认数据后果和补偿方案时才应使用。
按低风险顺序恢复,并用趋势确认真的追平
处置顺序应尽量保持证据和数据完整性。先保存发布端复制槽、订阅 Worker、origin 进度和相关日志;然后消除明确阻塞,例如锁持有者、磁盘饱和、网络中断或 Worker 资源不足;如果是 Apply 错误,修复冲突后让订阅恢复,而不是先删除复制槽。
恢复后至少连续采样两个维度:发布端 confirmed_flush_lsn 是否重新推进,以及订阅端 received_lsn 与 applied_remote_lsn 的距离是否持续缩小。可以用下面的查询反复观察应用侧趋势。
WITH apply_worker AS (
SELECT
subid,
subname,
received_lsn,
last_msg_receipt_time
FROM pg_stat_subscription
WHERE relid IS NULL
AND received_lsn IS NOT NULL
)
SELECT
clock_timestamp() AS sampled_at,
aw.subname,
aw.received_lsn,
ros.remote_lsn AS applied_remote_lsn,
pg_wal_lsn_diff(aw.received_lsn, ros.remote_lsn) AS receive_apply_bytes,
clock_timestamp() - aw.last_msg_receipt_time AS since_last_message
FROM apply_worker AS aw
JOIN pg_subscription AS s
ON s.oid = aw.subid
LEFT JOIN pg_replication_origin_status AS ros
ON ros.external_id = 'pg_' || s.oid::text
ORDER BY aw.subname;真正的“恢复”不是 Worker 重新出现,而是位置持续推进、积压距离稳定缩小,并最终回到业务可接受的范围。迁移切换前还应把这一趋势与业务写入速率一起观察:只有在源端继续产生变更时仍能缩小差距,才说明复制吞吐已经高于当前写入吞吐,具备可预测的最终追平能力。