PostgreSQL / 系统课时

制定保留与归档门禁

制定保留与归档门禁

归档不能只按“数据够老了”判断。本课把合规保留期、业务查询需求、恢复目标和存储成本转化为可执行门禁,并用 PostgreSQL 查询圈定候选范围,最终形成可审计、可重复执行的归档准入规则。

学习目标

  • 区分在线保留、归档保留与最终删除三个时间边界。
  • 把合规、业务查询、恢复能力和成本要求转化为可检查的归档门禁。
  • 使用 SQL 圈定归档候选数据,并验证时间边界是否正确。

先把三个时间边界分开

一条历史数据通常同时受到三个时间约束。在线保留期决定数据需要留在主业务表多久;归档保留期决定移出主表后还要保存多久;最终删除期才决定什么时候允许不可逆删除。

例如订单明细要求最近 180 天在线查询,180 天以前可以进入归档,但归档介质仍需保存若干年。此时“超过 180 天”只是归档候选条件,绝不是删除条件。

把要求转成四道门禁

实际归档前,至少要同时检查四类条件:合规是否允许数据离开在线存储;业务是否仍要求低延迟访问;归档后是否能在目标时间内恢复;迁移和长期保存的综合成本是否合理。

大表数据从在线保留到归档与删除的门禁决策流程

合规门禁应能追溯到规则来源和截止时间;业务门禁应基于真实查询模式,而不是主观判断;恢复门禁必须经过恢复演练;成本门禁则要同时计算主库空间收益、归档存储、数据搬迁和长期维护成本。四道门禁全部通过,候选数据才具备归档资格。

用 SQL 圈定并验证候选范围

假设业务表 event_log 使用 created_at 表示数据产生时间,当前策略先评估 180 天以前的数据。此时不要直接删除或迁移,而应先固定一次 cutoff,再统计候选数据的月份分布和整体时间边界。

sql
WITH params AS (
    SELECT CURRENT_DATE - INTERVAL '180 days' AS cutoff
),
candidates AS (
    SELECT e.created_at
    FROM event_log AS e
    CROSS JOIN params AS p
    WHERE e.created_at < p.cutoff
),
monthly AS (
    SELECT
        date_trunc('month', created_at) AS month_start,
        COUNT(*) AS row_count
    FROM candidates
    GROUP BY 1
),
bounds AS (
    SELECT
        MIN(created_at) AS oldest_created_at,
        MAX(created_at) AS newest_created_at
    FROM candidates
)
SELECT
    m.month_start,
    m.row_count,
    b.oldest_created_at,
    b.newest_created_at,
    p.cutoff
FROM monthly AS m
CROSS JOIN bounds AS b
CROSS JOIN params AS p
ORDER BY m.month_start;

预期结果

text
      month_start       | row_count |    oldest_created_at    |    newest_created_at    |       cutoff
------------------------+-----------+-------------------------+-------------------------+---------------------
 <TIME>                 | <VALUE>   | <TIME>                  | <TIME>                  | <TIME>
 <TIME>                 | <VALUE>   | <TIME>                  | <TIME>                  | <TIME>

实际行数和时间取决于当前数据。重点检查 newest_created_at 必须早于 cutoff,并确认月份分布符合预期。如果结果为空,则表示当前没有满足时间条件的候选数据,而不是 SQL 执行失败。

查询频率不能只看最近一次访问

业务门禁要判断历史数据是否仍位于关键查询路径。某批数据最近没有访问记录并不代表可以迁走,因为月末对账、年度审计、退款争议等查询天然低频,却可能仍要求秒级返回。

评审时应列出会命中历史数据的真实 SQL,确认查询时间窗口、调用频率、可接受延迟和调用方。如果归档后只能通过耗时较长的恢复流程查询,而业务要求即时返回,那么数据即使已经超过在线保留时间,也不能通过当前归档门禁。

恢复能力要在正式归档前验证

归档方案只有能够可靠恢复才算完整。门禁中应明确恢复时间目标、恢复粒度、依赖对象以及归档介质损坏后的检测方法,并把这些要求落实为可重复执行的演练。

首次正式归档前,应从归档介质选择一个代表性批次执行恢复,核对行数、主键范围和必要的业务校验值。按时间范围归档时,还要验证恢复数据不会与在线数据发生主键冲突或被重复装载。

归档准入应遵循一个清晰原则:达到时间边界只意味着成为候选数据;只有合规允许、业务可接受、恢复已验证且成本合理时,数据才真正进入归档。 最终删除仍需经过独立的到期与授权判断。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

制定保留与归档门禁

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通