PostgreSQL / 系统课时
用分区摘除完成快速归档
用分区摘除完成快速归档
当历史数据已经按时间分区保存时,归档不必逐行删除数千万条记录。只要整个分区都越过在线保留边界,就可以先把它从在线分区树中摘除,再在独立表上完成校验、迁移和最终清理,从而显著缩短在线维护窗口。
学习目标
- 判断什么时候可以用分区摘除代替逐行归档
- 使用
DETACH PARTITION安全地把历史分区移出在线查询路径 - 验证摘除结果,并安排后续迁移与清理
分区归档改变了操作粒度
假设 event_log 按月使用范围分区,event_log_2025_01 只包含 2025 年 1 月数据。生命周期策略确认整个月份都已越过在线保留期后,就没有必要再对这些行执行大规模 DELETE。
DETACH PARTITION 改变的是父表与分区之间的关系。摘除完成后,通过父表查询不会再访问这个分区,但原分区对应的普通表仍然存在,数据也不会因为摘除而自动删除。因此可以先快速缩小在线数据集合,再在在线路径之外执行导出、压缩、迁移或销毁。

这种方法有一个关键前提:生命周期边界必须与分区边界一致。如果一个分区中同时存在应继续在线保留和应归档的数据,就不能直接摘除整个分区。
摘除前先证明边界正确
不要根据分区名称推断时间范围。应读取目录中的真实分区边界,并确认它与生命周期截止规则完全吻合。pg_partition_tree() 不直接返回边界表达式,因此需要关联 pg_class.relpartbound。
SELECT t.relid::regclass AS partition_name,
pg_get_expr(c.relpartbound, c.oid) AS partition_bound
FROM pg_partition_tree('event_log'::regclass) AS t
JOIN pg_class AS c ON c.oid = t.relid
WHERE t.relid = 'event_log_2025_01'::regclass;预期结果
partition_name | partition_bound
----------------------+------------------------------
event_log_2025_01 | <VALUE>
(1 row)<VALUE> 应显示该分区真实的 FOR VALUES FROM (...) TO (...) 边界,具体文本取决于分区键类型和会话显示设置。执行者需要核对上下界,而不是只确认分区名称符合命名约定。
还要确认业务不会继续向待摘除的时间范围写入数据。如果系统允许补录历史事件,应先关闭这类写入,或确认摘除后的剩余分区布局仍能接收这些记录,否则后续插入可能因为找不到匹配分区而失败。
执行摘除并立即验证
有可控维护窗口时,可以直接使用普通摘除。下面把摘除与验证放在同一个主示例中:既确认原表对象仍然存在,也确认它已经从父表的分区树中消失。
ALTER TABLE event_log
DETACH PARTITION event_log_2025_01;
SELECT to_regclass('event_log_2025_01') AS detached_table,
EXISTS (
SELECT 1
FROM pg_partition_tree('event_log'::regclass)
WHERE relid = 'event_log_2025_01'::regclass
) AS still_partition;预期结果
ALTER TABLE
detached_table | still_partition
---------------------+-----------------
event_log_2025_01 | f
(1 row)detached_table 非空证明原表对象仍然存在,still_partition 为 f 才证明它已经不属于 event_log 的分区树。只看到 ALTER TABLE 成功消息不足以完成归档门禁验证。
在线场景评估并发摘除
需要降低父表长时间持有强锁的影响时,可以评估 DETACH PARTITION ... CONCURRENTLY。它会分阶段完成摘除,降低主要阶段对父表的锁强度,但并不是无锁操作;最终阶段仍需要取得更强的锁。该模式不能在显式事务块中运行,并且父分区表存在默认分区时不能使用。
下面是并发模式的片段示例,应作为普通摘除的替代方案,而不是在已经摘除同一分区后继续执行。
ALTER TABLE event_log
DETACH PARTITION event_log_2025_01 CONCURRENTLY;预期结果
ALTER TABLE如果并发摘除在最终阶段完成前被中断,分区可能处于待完成状态。只有确认这是一次未完成的并发摘除后,才使用 FINALIZE 完成剩余步骤;正常成功的并发摘除不需要再执行它。
ALTER TABLE event_log
DETACH PARTITION event_log_2025_01 FINALIZE;预期结果
ALTER TABLE把慢工作移到在线路径之外
摘除完成后不要立即 DROP TABLE。先在独立表上记录行数、时间范围和必要的业务校验值,再使用 COPY、pg_dump 或既定归档工具迁移数据。只有归档目标完成验证且保留策略允许删除时,才进入最终销毁阶段。
如果以后需要把独立表重新挂回分区树,也要重新验证分区边界、数据范围以及挂载所需约束。DETACH PARTITION 的核心价值不是直接删除历史数据,而是把“从在线查询路径移除”和“迁移或物理销毁数据”拆成两个独立门禁。当生命周期边界能够稳定映射到日、月或季度分区时,这种方式通常比大批量逐行删除更适合超大历史数据。