PostgreSQL / 系统课时

实施端到端在线迁移

实施端到端在线迁移

这一课把逻辑复制迁移从目标库准备一直做到最终切换:先同步兼容的 schema,再建立 Publication 与 Subscription,完成基线复制和持续追平,最后冻结旧源写入、同步序列并验收新主库。

学习目标

  • 建立可执行的 Publication、Subscription 与初始数据同步链路
  • 监控复制槽和订阅状态,判断目标库是否真正追平
  • 完成停写、序列同步、连接切换和业务验收

准备目标库并建立复制通道

目标库必须先存在与发布表兼容的 schema。逻辑复制不会自动迁移 DDL,因此应先使用目标主版本的工具导出源库 schema,审查不兼容对象后再导入目标库。下面的命令假设目标库已经创建,且连接凭据通过环境或受控密码文件提供。

bash
set -euo pipefail

pg_dump --schema-only --no-owner --no-privileges \
  -h <SOURCE_HOST> -p <PORT> -U <USER> -d <DBNAME> \
  > <PATH>/schema.sql

psql -h <TARGET_HOST> -p <PORT> -U <USER> -d <DBNAME> \
  -f <PATH>/schema.sql

echo "schema_loaded"

预期输出

text
schema_loaded

实际 DDL 执行信息会随对象数量不同而变化。导入后要确认扩展版本、函数、排序规则和表定义均能在目标主版本正常创建,再继续复制。

源库还必须具备逻辑复制所需的 WAL 配置与可用复制槽资源。

sql
SHOW wal_level;
SHOW max_replication_slots;
SHOW max_wal_senders;

预期输出

text
wal_level
logical

max_replication_slots
<VALUE>

max_wal_senders
<VALUE>

max_replication_slots 和 max_wal_senders 的实际值应覆盖现有复制任务和本次迁移链路,并保留余量。修改这些参数后是否需要重启,以对应 PostgreSQL 参数的生效规则为准。

创建 Publication 与 Subscription

在源库创建专用复制账号和 Publication。示例用 FOR ALL TABLES 覆盖当前数据库中的普通表,这种写法需要足够权限;权限模型受限时应显式列出迁移表,并在迁移窗口冻结 DDL,避免复制范围与目标 schema 发生漂移。

sql
CREATE ROLE migration_repl
WITH LOGIN REPLICATION PASSWORD '<PASSWORD>';

GRANT CONNECT ON DATABASE <DBNAME> TO migration_repl;
GRANT USAGE ON SCHEMA public TO migration_repl;
GRANT SELECT ON ALL TABLES IN SCHEMA public TO migration_repl;

CREATE PUBLICATION app_migration_pub FOR ALL TABLES;

预期结果

text
CREATE ROLE
GRANT
GRANT
GRANT
CREATE PUBLICATION

多 schema 数据库需要为每个发布 schema 授予相应 USAGE 和表 SELECT 权限。生产环境不要把复制密码写进共享脚本或终端历史。

目标库表应为空且结构兼容,然后创建 Subscription 触发初始数据复制,并在后续持续接收变更。

sql
CREATE SUBSCRIPTION app_migration_sub
CONNECTION 'host=<SOURCE_HOST> port=<PORT> dbname=<DBNAME> user=migration_repl password=<PASSWORD> sslmode=require'
PUBLICATION app_migration_pub
WITH (
    copy_data = true,
    create_slot = true,
    enabled = true
);

预期结果

text
CREATE SUBSCRIPTION

PostgreSQL 逻辑复制端到端在线迁移链路

监控基线同步并持续追平

订阅建立后不要以“没有报错”作为完成标准。目标库要观察订阅 worker,源库要观察复制槽是否活跃,以及当前 WAL 与订阅已确认位置之间的差值是否在高峰负载下能够回落。

在目标库执行:

sql
SELECT
    subname,
    pid,
    received_lsn,
    latest_end_lsn,
    latest_end_time
FROM pg_stat_subscription
WHERE subname = 'app_migration_sub';

预期结果

text
subname           | pid     | received_lsn | latest_end_lsn | latest_end_time
app_migration_sub | <PID>   | <VALUE>      | <VALUE>        | <TIME>

在源库执行:

sql
SELECT
    slot_name,
    active,
    pg_size_pretty(
        pg_wal_lsn_diff(pg_current_wal_lsn(), confirmed_flush_lsn)
    ) AS pending_wal
FROM pg_replication_slots
WHERE slot_name = 'app_migration_sub';

预期结果

text
slot_name         | active | pending_wal
app_migration_sub | t      | <VALUE>

初始复制期间 lag 可以较大,但在停止新增写入后必须持续下降。若 pending_wal 长时间增长,应先处理目标端 I/O、锁等待、网络或 apply worker 问题,而不是直接进入切换。

冻结旧源写入并完成最终切换

进入切换窗口后,先通过业务维护开关、网关或数据库权限策略停止旧源上的业务写入,再记录一个明确的切换 LSN。任何仍能绕过维护开关写入旧源的后台任务,都必须在这个阶段停掉。

sql
SELECT pg_current_wal_lsn() AS cutoff_lsn;

预期结果

text
cutoff_lsn
<VALUE>

持续检查源库复制槽,直到 confirmed_flush_lsn 已达到或超过记录的 cutoff_lsn。这意味着订阅端已经确认处理到切换位置,才可以进入序列同步和连接切换。

逻辑复制不会替你保持普通 sequence 的当前位置。旧源已经冻结写入后,在源库生成 setval 语句,再到目标库执行,避免新主库开始写入后出现主键序列倒退。

sql
SELECT format(
    'SELECT setval(%L, %s, true);',
    format('%I.%I', schemaname, sequencename),
    last_value
)
FROM pg_sequences
WHERE schemaname NOT IN ('pg_catalog', 'information_schema')
  AND last_value IS NOT NULL
ORDER BY schemaname, sequencename;

预期结果

text
SELECT setval('public.<SEQUENCE>', <VALUE>, true);

把生成的语句在目标库执行成功后,再把应用连接指向目标库并恢复写入。序列允许出现间隙,迁移关注的是新值不能与已有键冲突。

用业务验收关闭迁移窗口

切换后先做最小业务验收:新建一条可追踪记录、读取刚写入的数据、执行一次更新,并确认异步任务、连接池、监控和告警都指向目标库。随后对关键表做行数、关键键范围和抽样业务数据核对;精确校验应优先使用能表达业务一致性的查询,而不是只比较总行数。

sql
SELECT count(*) AS row_count
FROM <SCHEMA>.<TABLE>;

预期结果

text
row_count
<VALUE>

源库和目标库的 <SCHEMA>.<TABLE> 应在写入冻结点得到一致结果;对于允许后台维护改变统计信息但不改变业务数据的对象,应改用业务键或内容摘要校验。

目标库开始接受新业务写入后,旧源就不再是天然可直接切回的完整副本。若验收失败,需要按预先设计的回流或前滚修复方案处理;只有在目标尚未产生新写入时,才可以把“恢复旧源连接”作为简单回退路径。完成这些检查后,才能停止旧订阅、清理复制槽并进入旧库下线流程。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

实施端到端在线迁移

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通