PostgreSQL / 系统课时

处理复制槽与 WAL 膨胀

处理复制槽与 WAL 膨胀

逻辑复制槽会为尚未确认消费的订阅保留 WAL。订阅长时间失联、停用或处理停滞时,restart_lsn 可能持续落后,最终让 pg_wal 占满磁盘。本课重点是先确认哪个槽在保留多少 WAL,再决定恢复消费者、删除废弃槽还是增加容量保护,避免直接清理 WAL 造成链路失效。

学习目标

  • 用 pg_replication_slots 找出停滞槽并估算其 WAL 保留量
  • 判断复制槽仍属于有效订阅还是已经成为孤儿资源
  • 在保留数据完整性的前提下释放磁盘压力,并建立防止再次膨胀的保护线

找出真正占住 WAL 的复制槽

在发布端检查所有逻辑复制槽。判断风险不能只看 active,还要看 restart_lsn 与当前 WAL 位置的距离;这个差值近似反映该槽为了继续解码而要求保留的 WAL 规模。

sql
SELECT slot_name,
       database,
       active,
       active_pid,
       restart_lsn,
       confirmed_flush_lsn,
       pg_size_pretty(
         pg_wal_lsn_diff(pg_current_wal_lsn(), restart_lsn)
       ) AS retained_wal
FROM pg_replication_slots
WHERE slot_type = 'logical'
ORDER BY pg_wal_lsn_diff(pg_current_wal_lsn(), restart_lsn) DESC NULLS LAST;

预期结果

text
   slot_name   | database | active | active_pid | restart_lsn | confirmed_flush_lsn | retained_wal
---------------+----------+--------+------------+-------------+---------------------+-------------
 app_sub_slot  | appdb    | f      |            | <LSN>       | <LSN>               | <VALUE>
 active_slot   | appdb    | t      | <PID>      | <LSN>       | <LSN>               | <VALUE>

active = f 只表示当前没有消费者连接,不等于槽可以删除。真正需要优先调查的是“长期不活跃且 retained_wal 持续增长”的槽。

失联订阅导致复制槽保留 WAL 的关系

先确认槽是否还有合法消费者

槽名与订阅名不一定相同,因此不要凭名字猜。到订阅端查询 pg_subscription,确认订阅是否还存在、是否启用,以及它实际绑定的槽名。

sql
SELECT subname,
       subenabled,
       subslotname
FROM pg_subscription
ORDER BY subname;

预期结果

text
 subname | subenabled |  subslotname
---------+------------+----------------
 app_sub | t          | app_sub_slot

如果订阅仍用于迁移或容灾,应优先恢复订阅端网络、凭据和 Apply Worker,让它继续消费并推进确认位置。只有在业务已经明确退役该订阅,且确认不会再从该槽续传时,才进入删除槽的路径。

安全释放孤儿槽占用

删除复制槽会永久丢掉该槽的续传位置,因此必须先确认它不再服务任何有效订阅,并确保 active = f。确认无误后,在发布端删除槽,再查询系统视图验证它已经消失。

sql
SELECT pg_drop_replication_slot('orphan_slot');

SELECT count(*) AS remaining
FROM pg_replication_slots
WHERE slot_name = 'orphan_slot';

预期结果

text
 pg_drop_replication_slot
--------------------------

(1 row)

 remaining
-----------
         0
(1 row)

如果目标订阅仍然需要,但所需 WAL 已经丢失或复制槽被误删,就不能把“重建同名槽”当作无损续传。此时应按迁移计划重新建立一致性基线,再恢复增量复制。

让磁盘压力可提前被发现

处理完当前事故后,应把复制槽保留量变成持续监控指标。下面的查询直接给出每个逻辑槽相对当前 WAL 位置落后的字节数,可用于设置容量告警。

sql
SELECT slot_name,
       active,
       pg_wal_lsn_diff(pg_current_wal_lsn(), restart_lsn) AS retained_bytes
FROM pg_replication_slots
WHERE slot_type = 'logical'
ORDER BY retained_bytes DESC NULLS LAST;

预期结果

text
   slot_name   | active | retained_bytes
---------------+--------+---------------
 app_sub_slot  | t      | <VALUE>
 other_slot    | f      | <VALUE>

告警阈值应结合 pg_wal 所在磁盘容量、正常峰值写入速率以及允许的订阅中断时间制定。还可以为复制槽配置合理的 WAL 保留上限,作为磁盘保护而不是日常清理手段;一旦达到上限导致所需 WAL 被移除,滞后的消费者可能无法继续使用原槽。

验证压力已经解除

恢复消费者后,重复观察 restart_lsn 和 confirmed_flush_lsn,它们应随消费进度向前移动;删除孤儿槽后,对应行应不存在,同时磁盘上的旧 WAL 会在 PostgreSQL 后续检查点与回收过程中逐步释放。

判断处理成功至少要同时满足两点:有效订阅仍能继续接收新变更,异常槽不再持续扩大 WAL 保留量。这样解决的是复制链路的根因,而不是暂时把磁盘空间“清出来”而已。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

处理复制槽与 WAL 膨胀

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通