PostgreSQL / 系统课时

处理归档引发的复制延迟

处理归档引发的复制延迟

大批量归档、DELETE 或索引维护会快速产生 WAL,使主库写入速度超过备库接收、落盘或回放速度,最终表现为复制延迟上升。本课通过复制状态判断瓶颈位于哪一段,再用缩小批次、暂停节流和执行窗口控制持续压力。

学习目标

  • 使用复制状态区分发送、接收、写入和回放阶段的延迟
  • 判断归档批次产生的 WAL 是否超过备库持续处理能力
  • 通过复制积压门禁、批次大小和暂停策略控制归档吞吐

先确认延迟出现在哪一段

归档对复制的影响不是一个单一指标。DELETE 会产生 WAL,相关索引更新也会增加 WAL;这些记录生成后还要经过 WAL sender、网络传输、备库接收、落盘和 replay。任一阶段持续处理不过来,都会形成不断增长的积压。

归档任务到复制延迟的压力传导

在主库先查看 pg_stat_replication。以下查询同时显示流复制状态、各阶段 LSN 以及 PostgreSQL 可计算出的时间延迟字段。

sql
SELECT
    application_name,
    client_addr,
    state,
    sync_state,
    sent_lsn,
    write_lsn,
    flush_lsn,
    replay_lsn,
    write_lag,
    flush_lag,
    replay_lag
FROM pg_stat_replication;

预期结果

text
 application_name | client_addr |   state   | sync_state | sent_lsn | write_lsn | flush_lsn | replay_lsn | write_lag | flush_lag | replay_lag
------------------+-------------+-----------+------------+----------+-----------+-----------+------------+-----------+-----------+-----------
 <VALUE>          | <IP>        | streaming | <VALUE>    | <VALUE>  | <VALUE>   | <VALUE>   | <VALUE>    | <VALUE>   | <VALUE>   | <VALUE>
(<VALUE> rows)

这些时间延迟字段可能为 NULL,例如近期没有足够的新事务用于估算时,因此不要只依赖 replay_lag。还应比较不同 LSN 位置之间的字节差,并把复制状态未知的情况显式当作异常处理。

用 WAL 字节积压判断归档压力

可以计算主库当前 WAL 位置到每个备库 replay 位置的差值。这个数字表示尚未在备库回放完成的 WAL 字节量,适合作为归档任务的持续压力指标。

sql
SELECT
    application_name,
    CASE
        WHEN replay_lsn IS NULL THEN NULL
        ELSE pg_wal_lsn_diff(pg_current_wal_lsn(), replay_lsn)
    END AS replay_backlog_bytes
FROM pg_stat_replication
WHERE state = 'streaming';

预期结果

text
 application_name | replay_backlog_bytes
------------------+---------------------
 <VALUE>          | <VALUE>
(<VALUE> rows)

关键不是某一次采样出现积压,而是趋势。如果每执行一个归档批次后 backlog 都继续增大,且批次间没有回落,说明任务平均 WAL 产生速度已经高于备库的持续处理能力。若 replay_lsn 为 NULL,则表示当前无法可靠计算回放积压,不能把它解释为“没有延迟”。

给归档任务增加保守门禁

生产任务不要只根据“还有没有历史数据”决定是否继续。每个有限批次结束后,都应重新读取复制状态和积压;超过门限就暂停,让备库追平。更重要的是,当复制状态或 replay_lsn 未知时也应暂停,而不是因为比较结果为 NULL 而误走 ELSE 'RUN'。

下面给出一个人工验证门禁条件的 SQL。示例把 512 MiB 作为演示阈值,真实环境应根据 RPO、链路吞吐和可接受恢复时间设置。

sql
SELECT
    application_name,
    state,
    replay_lsn,
    CASE
        WHEN state <> 'streaming' OR replay_lsn IS NULL THEN NULL
        ELSE pg_wal_lsn_diff(pg_current_wal_lsn(), replay_lsn)
    END AS backlog_bytes,
    CASE
        WHEN state <> 'streaming' OR replay_lsn IS NULL THEN 'PAUSE'
        WHEN pg_wal_lsn_diff(pg_current_wal_lsn(), replay_lsn) > 512 * 1024 * 1024 THEN 'PAUSE'
        ELSE 'RUN'
    END AS archive_gate
FROM pg_stat_replication;

预期结果

text
 application_name |   state   | replay_lsn | backlog_bytes | archive_gate
------------------+-----------+------------+---------------+-------------
 <VALUE>          | streaming | <VALUE>    | <VALUE>       | RUN
(<VALUE> rows)

如果结果为 PAUSE,归档调度器应停止发起新的写密集型批次,但已经提交的 WAL 仍会继续传输和回放。replay_lsn IS NULL、复制未处于 streaming 或积压超过阈值都应偏保守暂停。恢复时最好再设置一个低于暂停阈值的恢复阈值,避免任务在边界附近频繁启停。

缩小批次并给复制链路喘息时间

出现持续延迟时,优先降低单位时间 WAL 产生量,而不是只提高超时。最直接的三个旋钮是减少每批处理行数、在批次之间加入暂停,以及把任务移到业务和复制链路都较空闲的执行窗口。

例如批量 DELETE 可以保持稳定顺序,每次只删除有限数量的行并立即提交。下面给出一个单批次示例,实际任务应循环执行并在每轮前后检查复制门禁。

sql
WITH batch AS (
    SELECT id
    FROM event_history
    WHERE occurred_at < TIMESTAMP '2026-01-01 00:00:00'
    ORDER BY id
    LIMIT 5000
)
DELETE FROM event_history e
USING batch b
WHERE e.id = b.id;

预期结果

text
DELETE <VALUE>

<VALUE> 最大为 5000,最后一个批次可能更少。每批独立提交可以限制单次事务规模和持续写入压力,也让调度程序有机会在下一批开始前重新观察复制状态。实际行数、耗时和 WAL 量会受行宽、索引数量以及被删除数据分布影响。

如果 5000 行仍会让 backlog 持续增长,可以继续减小批次或增加批次间暂停;如果每轮之后备库都能稳定追平,则说明当前吞吐更接近复制链路的持续处理能力。目标不是把归档速度推到最高,而是在业务负载、WAL 保留量和备库 replay 能力允许的范围内维持稳定吞吐。

验证延迟已经真正恢复

停止或降低归档压力后,应持续观察 replay LSN 是否向主库当前 WAL 位置靠近。只有 backlog 连续下降,才能说明积压正在被消费;如果 replay_lsn 仍为空,则应先恢复复制状态,而不是继续判断积压大小。

sql
SELECT
    application_name,
    state,
    replay_lsn,
    CASE
        WHEN replay_lsn IS NULL THEN NULL
        ELSE pg_size_pretty(pg_wal_lsn_diff(pg_current_wal_lsn(), replay_lsn))
    END AS replay_backlog,
    replay_lag
FROM pg_stat_replication;

预期结果

text
 application_name |   state   | replay_lsn | replay_backlog | replay_lag
------------------+-----------+------------+----------------+-----------
 <VALUE>          | streaming | <VALUE>    | <VALUE>        | <VALUE>
(<VALUE> rows)

如果归档停止后 backlog 仍不下降,就不能继续把问题归因于批次大小,需要进一步检查备库 I/O、CPU、网络质量、回放是否受阻以及接收端状态。只有确认复制链路可以稳定追平后,再恢复生命周期任务。

归档任务的安全吞吐上限由整条复制链路共同决定,而不是只由主库剩余 CPU 决定。把 replay backlog 和复制状态一起纳入每批次门禁,并让未知状态默认暂停,再配合缩批、节流和恢复阈值,才能把一次性的复制延迟故障变成可持续控制的资源反馈回路。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

处理归档引发的复制延迟

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通