PostgreSQL / 系统课时

切换写入到新分区表

切换写入到新分区表

历史数据迁完后,风险最高的一步是把“谁接收新写入”从旧表切到新分区表。安全切换的核心是建立短暂写入栅栏,在同一个确定窗口里补齐尾部数据、验证一致性、切换入口,再用真实写入确认路由已经落到新分区。

学习目标

  • 设计不会产生双重权威写入的切换窗口
  • 在事务内完成尾部同步、表名切换和一致性校验
  • 用新写入落盘位置与旧表静默状态验证切换结果

切换前先建立写入栅栏

切换前必须确认目标分区已经覆盖当前时间和近期未来时间,否则入口切换成功后第一条新数据就可能因“找不到分区”失败。还要逐项核对列类型、默认值、约束、触发器、RLS、权限、序列和发布订阅关系;这些对象不会因为“数据已经迁完”自动等价。

如果应用通过固定表名写入,可以在短维护窗口内用事务化重命名切换名称。这个办法只切换“按名称解析的 SQL 入口”,不会把已有外键、视图等基于对象 OID 的依赖自动改指向新表。因此存在入站外键、复杂视图或其他数据库内依赖时,必须先单独迁移这些依赖,不能直接套用表名交换。

分区表权威写入入口切换时序

在一个事务里补尾部并切换表名

下面实验假设 1 月历史数据已经迁到新表,而 2 月的一条尾部记录仍只存在旧表。ACCESS EXCLUSIVE 锁在事务开始处主动建立写入栅栏:它会等待旧事务结束并阻止新的并发访问,所以生产环境必须先在应用层停止或排队写入,把持锁时间压到最短。

sql
CREATE TABLE demo_cutover_orders (
    id bigint NOT NULL,
    created_at date NOT NULL,
    amount numeric(12,2) NOT NULL,
    PRIMARY KEY (id, created_at)
);

INSERT INTO demo_cutover_orders VALUES
    (1, DATE '2024-01-05', 100.00),
    (2, DATE '2024-01-20', 250.00),
    (3, DATE '2024-02-03', 80.00);

CREATE TABLE demo_cutover_orders_next (
    id bigint NOT NULL,
    created_at date NOT NULL,
    amount numeric(12,2) NOT NULL,
    PRIMARY KEY (id, created_at)
) PARTITION BY RANGE (created_at);

CREATE TABLE demo_cutover_orders_next_2024_h1
PARTITION OF demo_cutover_orders_next
FOR VALUES FROM ('2024-01-01') TO ('2024-07-01');

CREATE TABLE demo_cutover_orders_next_2024_h2
PARTITION OF demo_cutover_orders_next
FOR VALUES FROM ('2024-07-01') TO ('2025-01-01');

INSERT INTO demo_cutover_orders_next
SELECT *
FROM demo_cutover_orders
WHERE created_at < DATE '2024-02-01';

BEGIN;

LOCK TABLE demo_cutover_orders IN ACCESS EXCLUSIVE MODE;

INSERT INTO demo_cutover_orders_next
SELECT *
FROM demo_cutover_orders
ON CONFLICT (id, created_at) DO NOTHING;

DO $$
BEGIN
    IF EXISTS (
        SELECT id, created_at, amount FROM demo_cutover_orders
        EXCEPT
        SELECT id, created_at, amount FROM demo_cutover_orders_next
    ) OR EXISTS (
        SELECT id, created_at, amount FROM demo_cutover_orders_next
        EXCEPT
        SELECT id, created_at, amount FROM demo_cutover_orders
    ) THEN
        RAISE EXCEPTION 'cutover validation failed';
    END IF;
END
$$;

ALTER TABLE demo_cutover_orders RENAME TO demo_cutover_orders_legacy;
ALTER TABLE demo_cutover_orders_next RENAME TO demo_cutover_orders;

COMMIT;

INSERT INTO demo_cutover_orders
VALUES (4, DATE '2024-08-10', 19.00);

SELECT tableoid::regclass AS physical_table, id, created_at
FROM demo_cutover_orders
WHERE id = 4;

预期输出:

text
CREATE TABLE
INSERT 0 3
CREATE TABLE
CREATE TABLE
CREATE TABLE
INSERT 0 2
BEGIN
LOCK TABLE
INSERT 0 1
DO
ALTER TABLE
ALTER TABLE
COMMIT
INSERT 0 1
             physical_table              | id | created_at
-----------------------------------------+----+------------
 demo_cutover_orders_next_2024_h2        |  4 | 2024-08-10

最后一行显示新写入是通过新的父表名进入的,但物理存储落在 H2 子分区。子分区名称不会随着父表重命名自动改成新前缀,这不影响分区路由,后续可以在独立维护窗口按命名规范整理。

把切换窗口留给最少的工作

生产切换前应把绝大多数历史数据、索引构建、约束验证和权限准备都做完;切换窗口只做“停写、补尾、校验、切入口、提交”。示例为了可读性对整张小表执行双向 EXCEPT,真实大表不应在持有切换锁时重新全表比对,而应只核验尚未同步的尾部范围,并依赖前面已经封存的历史批次检查点。

新父表还必须提前授予应用角色所需权限;如果主键依赖序列或 identity,也要确认新入口使用的序列不会产生重复值。切换后立即观察写错误率、事务延迟和目标分区增长,并确认旧的 demo_cutover_orders_legacy 不再出现新行。

回退必须先重新建立单一权威

如果切换后尚未有任何新写入,且依赖关系也未发生变化,可以在新的写入栅栏内反向交换名称。只要新表已经产生数据,回退前就必须再次停止写入,先把新表独有的变更合并回旧表并验证,再决定是否切回。

对于无法接受短暂停写的系统,应把切换设计成 CDC 或逻辑复制驱动的在线迁移,并配套去重、延迟追平和最终一致性核验;不要用长期双写代替权威入口切换。只要任一时刻能明确指出唯一写入权威,回退路径才是可控的。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

切换写入到新分区表

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通