PostgreSQL / 系统课时

使用行过滤与列列表

使用行过滤与列列表

逻辑复制默认把已发布表的全部行和全部列发送给订阅端。本篇用一个租户拆分场景配置 Row Filter 与 Column List,让你只复制目标租户和迁移所需字段,并识别更新跨过滤边界、Replica Identity 与安全隔离等关键限制。

学习目标

  • 能用 Row Filter 按行限定逻辑复制范围。
  • 能用 Column List 只发布迁移需要的列。
  • 能判断这两项能力在拆库和渐进迁移中的适用边界。

把复制范围拆成行与列

Row Filter 回答“哪些记录要复制”,Column List 回答“每条记录带哪些字段”。二者同时配置时,订阅端得到的是两层约束的交集:先只有满足过滤条件的行能进入发布流,再只传输列列表中的字段。

Row Filter 与 Column List 的复制范围

这两种约束都定义在 publication 的表项上,而不是 subscription 上。对于持续迁移,发布 UPDATE 和 DELETE 时还必须确保行过滤使用的列可由 Replica Identity 识别,否则 PostgreSQL 无法可靠判断旧行是否仍属于过滤范围。

配置目标租户与目标列

下面在发布端创建一张订单表,只复制 tenant_id = 42 的数据,并排除内部备注列。由于过滤条件使用 tenant_id,示例把 (tenant_id, id) 设为 Replica Identity;列列表也必须包含这两个身份列。

sql
CREATE TABLE public.customer_orders (
    id bigint PRIMARY KEY,
    tenant_id bigint NOT NULL,
    status text NOT NULL,
    amount numeric(12,2) NOT NULL,
    internal_note text
);

CREATE UNIQUE INDEX customer_orders_repl_ident
    ON public.customer_orders (tenant_id, id);

ALTER TABLE public.customer_orders
    REPLICA IDENTITY USING INDEX customer_orders_repl_ident;

CREATE PUBLICATION migration_pub
FOR TABLE public.customer_orders
    (id, tenant_id, status, amount)
    WHERE (tenant_id = 42)
WITH (publish = 'insert, update, delete');

预期输出

text
CREATE TABLE
CREATE INDEX
ALTER TABLE
CREATE PUBLICATION

这里显式排除了 TRUNCATE。Row Filter 对 TRUNCATE 不生效,因此做“同表只迁一部分数据”时,不应让一次源端整表截断误伤订阅端的目标表。

可以从发布端系统视图核对最终生效的列列表与过滤条件。

sql
SELECT pubname, schemaname, tablename, attnames, rowfilter
FROM pg_publication_tables
WHERE pubname = 'migration_pub';

预期结果

text
    pubname    | schemaname |    tablename    |              attnames              |     rowfilter
---------------+------------+-----------------+------------------------------------+---------------------
 migration_pub | public     | customer_orders | {id,tenant_id,status,amount}       | (tenant_id = 42)

实际空格与表达式格式可能因客户端显示方式不同,但 attnames 应只包含发布列,rowfilter 应对应目标租户条件。

看懂更新跨过滤边界

对 INSERT,新行满足过滤条件才会被发布;对 DELETE,旧行属于过滤范围才会发布。UPDATE 更特殊,因为一次更新可能让记录进入或离开过滤集合。

更新前是否匹配 更新后是否匹配 订阅端看到的动作
是 是 UPDATE
是 否 DELETE
否 是 INSERT
否 否 无变化

例如把 tenant_id 从 42 改成 7,对目标订阅端的语义不是“更新 tenant_id”,而是“这条记录离开迁移集合”,因此会表现为删除。反向从 7 改成 42 时,则会作为新进入集合的记录插入。

判断是否适合渐进迁移

Row Filter 很适合按租户、地区或可稳定识别的业务键拆分数据;Column List 适合目标库暂时只承接核心字段,或先迁移热字段、后处理冷字段。两者结合后,可以在不复制整张大表的前提下建立较小的持续变更流。

但它们不是任意数据变换工具。过滤表达式受逻辑复制规则限制,不能把复杂业务函数当作迁移路由器;列列表只能选择现有列,不能重命名或计算新列。如果需要字段改名、派生值或跨表拼接,应在订阅端之外增加显式的数据转换层。

还有一个容易忽略的模式变化:显式列列表不会自动包含以后新增的列,而“不写列列表”会随表结构新增列继续发布。因此渐进迁移期间新增字段后,应把 publication 定义也纳入变更审核。

当目标是“同一张表只迁一部分稳定业务分片,并且只带目标系统需要的字段”时,Row Filter 与 Column List 是低成本方案;如果筛选键频繁变化、需要复杂转换或要求严格安全隔离,就不应仅靠这两项 publication 能力承担迁移边界。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

使用行过滤与列列表

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通