PostgreSQL / 系统课时

用分区摘除完成快速归档

用分区摘除完成快速归档

当历史数据已经按时间分区保存时,归档不必逐行删除数千万条记录。只要整个分区都越过在线保留边界,就可以先把它从在线分区树中摘除,再在独立表上完成校验、迁移和最终清理,从而显著缩短在线维护窗口。

学习目标

  • 判断什么时候可以用分区摘除代替逐行归档
  • 使用 DETACH PARTITION 安全地把历史分区移出在线查询路径
  • 验证摘除结果,并安排后续迁移与清理

分区归档改变了操作粒度

假设 event_log 按月使用范围分区,event_log_2025_01 只包含 2025 年 1 月数据。生命周期策略确认整个月份都已越过在线保留期后,就没有必要再对这些行执行大规模 DELETE。

DETACH PARTITION 改变的是父表与分区之间的关系。摘除完成后,通过父表查询不会再访问这个分区,但原分区对应的普通表仍然存在,数据也不会因为摘除而自动删除。因此可以先快速缩小在线数据集合,再在在线路径之外执行导出、压缩、迁移或销毁。

分区摘除后的在线与归档路径

这种方法有一个关键前提:生命周期边界必须与分区边界一致。如果一个分区中同时存在应继续在线保留和应归档的数据,就不能直接摘除整个分区。

摘除前先证明边界正确

不要根据分区名称推断时间范围。应读取目录中的真实分区边界,并确认它与生命周期截止规则完全吻合。pg_partition_tree() 不直接返回边界表达式,因此需要关联 pg_class.relpartbound。

sql
SELECT t.relid::regclass AS partition_name,
       pg_get_expr(c.relpartbound, c.oid) AS partition_bound
FROM pg_partition_tree('event_log'::regclass) AS t
JOIN pg_class AS c ON c.oid = t.relid
WHERE t.relid = 'event_log_2025_01'::regclass;

预期结果

text
    partition_name    | partition_bound
----------------------+------------------------------
 event_log_2025_01    | <VALUE>
(1 row)

<VALUE> 应显示该分区真实的 FOR VALUES FROM (...) TO (...) 边界,具体文本取决于分区键类型和会话显示设置。执行者需要核对上下界,而不是只确认分区名称符合命名约定。

还要确认业务不会继续向待摘除的时间范围写入数据。如果系统允许补录历史事件,应先关闭这类写入,或确认摘除后的剩余分区布局仍能接收这些记录,否则后续插入可能因为找不到匹配分区而失败。

执行摘除并立即验证

有可控维护窗口时,可以直接使用普通摘除。下面把摘除与验证放在同一个主示例中:既确认原表对象仍然存在,也确认它已经从父表的分区树中消失。

sql
ALTER TABLE event_log
DETACH PARTITION event_log_2025_01;

SELECT to_regclass('event_log_2025_01') AS detached_table,
       EXISTS (
           SELECT 1
           FROM pg_partition_tree('event_log'::regclass)
           WHERE relid = 'event_log_2025_01'::regclass
       ) AS still_partition;

预期结果

text
ALTER TABLE
   detached_table    | still_partition
---------------------+-----------------
 event_log_2025_01   | f
(1 row)

detached_table 非空证明原表对象仍然存在,still_partition 为 f 才证明它已经不属于 event_log 的分区树。只看到 ALTER TABLE 成功消息不足以完成归档门禁验证。

在线场景评估并发摘除

需要降低父表长时间持有强锁的影响时,可以评估 DETACH PARTITION ... CONCURRENTLY。它会分阶段完成摘除,降低主要阶段对父表的锁强度,但并不是无锁操作;最终阶段仍需要取得更强的锁。该模式不能在显式事务块中运行,并且父分区表存在默认分区时不能使用。

下面是并发模式的片段示例,应作为普通摘除的替代方案,而不是在已经摘除同一分区后继续执行。

sql
ALTER TABLE event_log
DETACH PARTITION event_log_2025_01 CONCURRENTLY;

预期结果

text
ALTER TABLE

如果并发摘除在最终阶段完成前被中断,分区可能处于待完成状态。只有确认这是一次未完成的并发摘除后,才使用 FINALIZE 完成剩余步骤;正常成功的并发摘除不需要再执行它。

sql
ALTER TABLE event_log
DETACH PARTITION event_log_2025_01 FINALIZE;

预期结果

text
ALTER TABLE

把慢工作移到在线路径之外

摘除完成后不要立即 DROP TABLE。先在独立表上记录行数、时间范围和必要的业务校验值,再使用 COPY、pg_dump 或既定归档工具迁移数据。只有归档目标完成验证且保留策略允许删除时,才进入最终销毁阶段。

如果以后需要把独立表重新挂回分区树,也要重新验证分区边界、数据范围以及挂载所需约束。DETACH PARTITION 的核心价值不是直接删除历史数据,而是把“从在线查询路径移除”和“迁移或物理销毁数据”拆成两个独立门禁。当生命周期边界能够稳定映射到日、月或季度分区时,这种方式通常比大批量逐行删除更适合超大历史数据。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用分区摘除完成快速归档

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通