PostgreSQL / 系统课时

迁移大对象与外部对象

迁移大对象与外部对象

逻辑复制只覆盖被发布表中的行变化,数据库 Large Object、本地文件、FDW 远端资源、证书与其他外部依赖不会因此自动出现在目标环境。本课先建立遗漏清单,再分别给 Large Object 和文件选择可验证的迁移路径,避免切换后出现“记录在、内容不在”的故障。

学习目标

  • 判断哪些对象不属于表级逻辑复制的自动覆盖范围。
  • 为 PostgreSQL Large Object 选择能保留对象 OID 的迁移方式。
  • 对文件和外部依赖建立独立复制、校验与切换步骤。

先把逻辑复制边界盘清楚

普通表里的 text、bytea 和 OID 数值都可以作为列值复制,但 OID 指向的 Large Object 内容存放在 PostgreSQL 的大对象存储中,并不是发布表的一部分。类似地,表里保存的文件路径、对象存储 Key 或远端系统 ID 只是引用,引用背后的内容仍在数据库之外。

逻辑复制与额外迁移对象的覆盖边界

先在源库确认是否真的使用了 Large Object,并盘点 FDW 依赖。

sql
SELECT count(*) AS large_object_count
FROM pg_largeobject_metadata;

SELECT
    s.srvname AS foreign_server,
    w.fdwname AS fdw_name
FROM pg_foreign_server AS s
JOIN pg_foreign_data_wrapper AS w ON w.oid = s.srvfdw
ORDER BY 1;

预期结果

text
 large_object_count
--------------------
                 27

 foreign_server | fdw_name
----------------+----------
 crm_remote     | postgres_fdw

第一条结果为 0 时,至少可以排除 PostgreSQL Large Object 这一类遗漏;第二条只能说明存在外部服务器定义,远端数据是否需要迁移还要结合业务访问路径判断。

用转储恢复迁移 Large Object

Large Object 常被业务表用 OID 引用,因此迁移时最重要的不是“把字节复制过去”,而是保留对象 OID 与引用关系。pg_dump/pg_restore 能正确处理这种关系,适合在切换窗口中迁移最后版本的大对象。

下面先生成自定义格式转储,并显式要求包含 Large Object。示例中的数据库连接参数、目录和文件名按实际环境替换。

bash
pg_dump \
  --format=custom \
  --large-objects \
  --file=<PATH>/source-with-lo.dump \
  <SOURCE_DB>

预期输出

text
命令成功时通常不输出正文;退出码为 0,并生成 <PATH>/source-with-lo.dump。

若目标库的普通表已经由逻辑复制维护,不应直接把整个转储无选择地恢复进去。先查看归档目录,再为 Large Object 生成只包含相关 TOC 项的恢复清单。

bash
pg_restore --list <PATH>/source-with-lo.dump > <PATH>/toc.list
grep -E 'BLOB|BLOB COMMENTS' <PATH>/toc.list > <PATH>/lo-only.list
pg_restore \
  --use-list=<PATH>/lo-only.list \
  --dbname=<TARGET_DB> \
  <PATH>/source-with-lo.dump

预期输出

text
pg_restore 成功时可无标准输出;退出码为 0。<PATH>/lo-only.list 中应只保留 Large Object 相关条目。

不同 PostgreSQL 版本的 TOC 文本细节可能略有差异,因此执行恢复前必须人工检查 lo-only.list,确认没有表数据、约束或其他不应重复恢复的对象。

文件引用必须复制内容而不是只复制路径

如果表中保存 /srv/app/files/... 一类路径,逻辑复制只会复制字符串。切换前应先做一次全量文件同步,在停止源端文件写入后再做增量同步,并用校验和核对内容。

bash
rsync -a --checksum <SOURCE_PATH>/ <TARGET_PATH>/

预期输出

text
sending incremental file list
<FILE>
sent <VALUE> bytes  received <VALUE> bytes  <VALUE> bytes/sec
total size is <VALUE>  speedup is <VALUE>

最终停写后可以生成校验清单,并在目标目录验证。以下命令假设两端目录结构一致。

bash
cd <SOURCE_PATH> && find . -type f -print0 | sort -z | xargs -0 sha256sum > <PATH>/files.sha256
cd <TARGET_PATH> && sha256sum -c <PATH>/files.sha256

预期输出

text
./<FILE>: OK

如果文件实际位于对象存储,不要把 rsync 生搬硬套到对象存储协议上,应改用对应平台的复制、版本固定和清单校验能力;目标仍然是同一件事:在明确的冻结点后证明引用和内容一致。

外部依赖按“重建配置”和“迁移数据”分开处理

FDW 的 server、user mapping、网络连通性和凭据属于目标环境配置,远端数据本身是否迁移取决于架构:如果目标库继续访问同一个远端系统,只需重建并验证连接;如果远端系统也要迁移,则应把它作为独立数据迁移项目处理。

扩展、角色、证书、KMS 密钥、服务器目录、应用侧 Secret 和定时任务也应进入切换清单。逻辑复制不会替你安装扩展、分发文件或复制操作系统权限。

最终验收不应只问“订阅是否追平”,而要逐项证明:表行已追平、Large Object 可按原 OID 读取、外部文件校验通过、FDW 或远端服务可连接、目标环境依赖已重建。这样才能把逻辑复制的边界从隐患变成显式的迁移清单。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

迁移大对象与外部对象

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通