PostgreSQL / 系统课时

附加已装载数据表

附加已装载数据表

大批历史或离线计算数据不必直接写入在线分区。更稳妥的做法是先在独立表完成装载、校验和索引构建,再用 ATTACH PARTITION 做一次短切换,让数据瞬间进入父表的分区路由。

学习目标

  • 用独立表完成批量装载,再将其附加为范围分区
  • 用已验证的 CHECK 约束避免附加阶段扫描整张待上线表
  • 识别索引和 DEFAULT 分区对上线窗口的影响

把重活移到附加之前

ATTACH PARTITION 的价值不在于“免做校验”,而在于把耗时工作提前。待附加表可以独立执行批量导入、清洗、建索引和 ANALYZE,这些操作不会让父分区表长期处于结构变更锁中。

真正切换时,PostgreSQL 会在父表上取得 SHARE UPDATE EXCLUSIVE 锁,并在待附加表上取得 ACCESS EXCLUSIVE 锁。若系统必须在此时扫描几千万行验证分区边界,切换窗口仍然会被拉长,因此要提前准备能够证明边界正确的约束。

已装载数据表附加为在线分区的切换链路

准备并校验待上线表

下面示例在空白测试数据库中创建一个按日期范围分区的事件表,再准备 2026 年 2 月的独立装载表。父表先声明分区索引,待上线表也提前建立等价索引,以免把索引构建留到附加阶段。

sql
CREATE TABLE event_log (
    event_id bigint NOT NULL,
    tenant_id integer NOT NULL,
    event_time date NOT NULL,
    payload jsonb NOT NULL DEFAULT '{}'::jsonb
) PARTITION BY RANGE (event_time);

CREATE INDEX event_log_tenant_time_idx
    ON event_log (tenant_id, event_time);

CREATE TABLE event_log_2026_02_stage
    (LIKE event_log INCLUDING DEFAULTS INCLUDING CONSTRAINTS);

CREATE INDEX event_log_2026_02_tenant_time_idx
    ON event_log_2026_02_stage (tenant_id, event_time);

INSERT INTO event_log_2026_02_stage (event_id, tenant_id, event_time, payload)
SELECT g,
       1 + (g % 20),
       DATE '2026-02-01' + (g % 28)::integer,
       jsonb_build_object('batch', g)
FROM generate_series(1, 28000) AS g;

ALTER TABLE event_log_2026_02_stage
    ADD CONSTRAINT event_log_2026_02_bound
    CHECK (
        event_time >= DATE '2026-02-01'
        AND event_time < DATE '2026-03-01'
    ) NOT VALID;

ALTER TABLE event_log_2026_02_stage
    VALIDATE CONSTRAINT event_log_2026_02_bound;

ANALYZE event_log_2026_02_stage;

预期输出的关键命令标签如下;不同客户端可能不显示完全相同的排版。

text
CREATE TABLE
CREATE INDEX
CREATE TABLE
CREATE INDEX
INSERT 0 28000
ALTER TABLE
ALTER TABLE
ANALYZE

先用 NOT VALID 添加约束不会扫描既有行,随后 VALIDATE CONSTRAINT 在正式附加前完成一次全表校验。这样,附加时 PostgreSQL 可以利用这个已验证约束证明所有数据都属于目标范围,而不必在持有待附加表强锁时再次扫描整表。

执行短切换并验证

待装载表的数据、索引和统计信息都准备好后,再执行真正的结构切换。附加成功后先验证父表路由;边界 CHECK 已经与分区边界重复,可以在稳定后再清理,不必把这一步塞进关键切换窗口。

sql
ALTER TABLE event_log
    ATTACH PARTITION event_log_2026_02_stage
    FOR VALUES FROM ('2026-02-01') TO ('2026-03-01');

预期输出:

text
ALTER TABLE

再从父表查询该范围,确认分区路由已经生效。

sql
SELECT tableoid::regclass AS physical_table, count(*) AS rows
FROM event_log
WHERE event_time >= DATE '2026-02-01'
  AND event_time < DATE '2026-03-01'
GROUP BY tableoid::regclass;

预期结果:

text
physical_table            | rows
--------------------------+------
event_log_2026_02_stage   | 28000

表名虽然仍带有 _stage,它此时已经是 event_log 的正式分区。生产环境通常会在上线前采用最终分区命名;确认稳定后再清理重复的边界 CHECK 约束即可。

防住两个隐藏的长窗口

父表若已经有分区索引,而待附加表缺少等价索引,PostgreSQL 会在附加过程中补建需要的索引;大分区上的索引构建会直接扩大切换窗口。批量上线前应先对照父表索引清单,在独立表上完成等价索引构建。

另一个风险是 DEFAULT 分区。增加新范围后,默认分区必须证明自己不包含这个范围的数据;无法从约束推导时,PostgreSQL 可能扫描默认分区并持有更强锁。大表上线前应先清理重叠数据,并给默认分区准备能排除新区间的有效 CHECK 约束。

当装载、边界验证、索引构建和统计信息都在独立阶段完成后,ATTACH PARTITION 才真正成为一次短暂的元数据切换,而不是把离线批处理重新搬回在线维护窗口。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

附加已装载数据表

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通