PostgreSQL / 系统课时

控制初始数据复制行为

控制初始数据复制行为

copy_data 决定 Subscription 启动时是否把 Publication 中已经存在的行复制到订阅端。这个选择直接影响迁移基线:目标库为空时通常需要复制,目标库已用其他方式预装数据时通常要跳过,否则可能产生重复键冲突或重复数据。

学习目标

  • 区分 copy_data = true 与 copy_data = false 的启动行为
  • 根据目标库是否已有一致基线选择初始复制策略
  • 使用测试数据验证“跳过历史行、只接收后续变化”的效果

先判断目标库是否已经有基线

copy_data = true 是常见默认值:订阅启动后,PostgreSQL 会为需要初始化的表执行一次现有数据同步,并在同步完成后持续应用增量变化。它适合目标表为空、希望逻辑复制同时承担“装载历史数据 + 追增量”的场景。

copy_data = false 会跳过现有行复制。它适合低停机迁移中已经通过备份恢复、导出导入或其他批量通道准备好一致基线的目标库,此时逻辑复制只负责接续后续变化。跳过复制不会校验两端历史数据是否一致,所以基线正确性必须由迁移流程自行保证。

目标端状态 建议 主要风险
表结构已建但没有业务行 copy_data = true 初始复制耗时与源端读负载
已装载并验证过一致基线 copy_data = false 基线点选择错误会造成缺行或旧值
已有不确定的重叠数据 先对账再决定 true 可能冲突,false 可能保留脏差异

理解两条启动路径

copy_data 初始同步路径对比

copy_data = true 时,初始表同步和持续增量并不是简单串行的“先全部 COPY、再开始记 WAL”。PostgreSQL 会协调表同步 worker、临时表同步槽与主 Subscription 槽,使复制期间发生的新变化最终仍能接上。表同步完成后,临时同步槽会被清理,长期保留的是 Subscription 使用的主槽。

copy_data = false 则没有这段历史数据装载过程。主槽仍负责从订阅建立后的逻辑位置持续提供变化,但订阅端不会自动补齐该位置之前已经存在的行。因此它能减少初始化时间,却把“历史基线从哪里来、是否一致”这个责任交给迁移方案。

用实验验证 copy_data=false

下面的最小实验刻意让订阅端目标表为空。先在发布端创建探针表、写入一条“订阅创建前”的数据并发布它。

sql
CREATE TABLE public.migration_probe (
  id bigint PRIMARY KEY,
  payload text NOT NULL
);

INSERT INTO public.migration_probe
VALUES (1001, 'before-subscription');

CREATE PUBLICATION migration_probe_pub
FOR TABLE public.migration_probe;

预期输出

text
CREATE TABLE
INSERT 0 1
CREATE PUBLICATION

在订阅端创建相同表,再建立 Subscription,并明确关闭初始复制。<IP>、<PORT>、<PASSWORD> 替换为发布端真实连接值。

sql
CREATE TABLE public.migration_probe (
  id bigint PRIMARY KEY,
  payload text NOT NULL
);

CREATE SUBSCRIPTION migration_probe_sub
CONNECTION 'host=<IP> port=<PORT> dbname=appdb user=replicator password=<PASSWORD>'
PUBLICATION migration_probe_pub
WITH (
  slot_name = 'migration_probe_slot',
  copy_data = false
);

预期输出

text
CREATE TABLE
CREATE SUBSCRIPTION

此时发布端再写入一条新记录。

sql
INSERT INTO public.migration_probe
VALUES (1002, 'after-subscription');

预期输出

text
INSERT 0 1

等订阅正常追平后,在订阅端查询两条 ID。实际追平时间取决于网络和 worker 调度,因此不要用固定秒数作为验收条件。

sql
SELECT id, payload
FROM public.migration_probe
WHERE id IN (1001, 1002)
ORDER BY id;

预期结果

text
  id  |      payload
------+--------------------
 1002 | after-subscription

结果中没有 1001,证明 copy_data = false 没有回填订阅建立前已经存在的行;1002 能到达,则证明持续增量复制链路已经工作。迁移目标若本来就预装了 1001 对应基线数据,最终两端才能同时具备历史与增量。

后续刷新 Publication 也要重新决策

copy_data 不是一个创建后随时用 ALTER SUBSCRIPTION ... SET 切换的常驻开关。新增表进入 Publication 后,订阅端通常通过 REFRESH PUBLICATION 获取最新表清单,而这次刷新可以再次决定是否复制新加入表的已有数据。

如果新表已经由迁移工具预装基线,可明确跳过复制。

sql
ALTER SUBSCRIPTION migration_probe_sub
REFRESH PUBLICATION
WITH (copy_data = false);

预期输出

text
ALTER SUBSCRIPTION

如果新加入的表在订阅端为空,则可以对这次刷新使用 copy_data = true 让 PostgreSQL执行初始同步。已经订阅过的表不会因为后来刷新时改成 true 就被整体重拷一次,所以不要把 REFRESH PUBLICATION 当成历史数据修复工具;发现基线不一致时,应单独停止写入或隔离流量,完成对账与修复后再继续迁移。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

控制初始数据复制行为

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通