PostgreSQL / 系统课时
迁移大对象与外部对象
迁移大对象与外部对象
逻辑复制只覆盖被发布表中的行变化,数据库 Large Object、本地文件、FDW 远端资源、证书与其他外部依赖不会因此自动出现在目标环境。本课先建立遗漏清单,再分别给 Large Object 和文件选择可验证的迁移路径,避免切换后出现“记录在、内容不在”的故障。
学习目标
- 判断哪些对象不属于表级逻辑复制的自动覆盖范围。
- 为 PostgreSQL Large Object 选择能保留对象 OID 的迁移方式。
- 对文件和外部依赖建立独立复制、校验与切换步骤。
先把逻辑复制边界盘清楚
普通表里的 text、bytea 和 OID 数值都可以作为列值复制,但 OID 指向的 Large Object 内容存放在 PostgreSQL 的大对象存储中,并不是发布表的一部分。类似地,表里保存的文件路径、对象存储 Key 或远端系统 ID 只是引用,引用背后的内容仍在数据库之外。

先在源库确认是否真的使用了 Large Object,并盘点 FDW 依赖。
SELECT count(*) AS large_object_count
FROM pg_largeobject_metadata;
SELECT
s.srvname AS foreign_server,
w.fdwname AS fdw_name
FROM pg_foreign_server AS s
JOIN pg_foreign_data_wrapper AS w ON w.oid = s.srvfdw
ORDER BY 1;预期结果
large_object_count
--------------------
27
foreign_server | fdw_name
----------------+----------
crm_remote | postgres_fdw第一条结果为 0 时,至少可以排除 PostgreSQL Large Object 这一类遗漏;第二条只能说明存在外部服务器定义,远端数据是否需要迁移还要结合业务访问路径判断。
用转储恢复迁移 Large Object
Large Object 常被业务表用 OID 引用,因此迁移时最重要的不是“把字节复制过去”,而是保留对象 OID 与引用关系。pg_dump/pg_restore 能正确处理这种关系,适合在切换窗口中迁移最后版本的大对象。
下面先生成自定义格式转储,并显式要求包含 Large Object。示例中的数据库连接参数、目录和文件名按实际环境替换。
pg_dump \
--format=custom \
--large-objects \
--file=<PATH>/source-with-lo.dump \
<SOURCE_DB>预期输出
命令成功时通常不输出正文;退出码为 0,并生成 <PATH>/source-with-lo.dump。若目标库的普通表已经由逻辑复制维护,不应直接把整个转储无选择地恢复进去。先查看归档目录,再为 Large Object 生成只包含相关 TOC 项的恢复清单。
pg_restore --list <PATH>/source-with-lo.dump > <PATH>/toc.list
grep -E 'BLOB|BLOB COMMENTS' <PATH>/toc.list > <PATH>/lo-only.list
pg_restore \
--use-list=<PATH>/lo-only.list \
--dbname=<TARGET_DB> \
<PATH>/source-with-lo.dump预期输出
pg_restore 成功时可无标准输出;退出码为 0。<PATH>/lo-only.list 中应只保留 Large Object 相关条目。不同 PostgreSQL 版本的 TOC 文本细节可能略有差异,因此执行恢复前必须人工检查 lo-only.list,确认没有表数据、约束或其他不应重复恢复的对象。
文件引用必须复制内容而不是只复制路径
如果表中保存 /srv/app/files/... 一类路径,逻辑复制只会复制字符串。切换前应先做一次全量文件同步,在停止源端文件写入后再做增量同步,并用校验和核对内容。
rsync -a --checksum <SOURCE_PATH>/ <TARGET_PATH>/预期输出
sending incremental file list
<FILE>
sent <VALUE> bytes received <VALUE> bytes <VALUE> bytes/sec
total size is <VALUE> speedup is <VALUE>最终停写后可以生成校验清单,并在目标目录验证。以下命令假设两端目录结构一致。
cd <SOURCE_PATH> && find . -type f -print0 | sort -z | xargs -0 sha256sum > <PATH>/files.sha256
cd <TARGET_PATH> && sha256sum -c <PATH>/files.sha256预期输出
./<FILE>: OK如果文件实际位于对象存储,不要把 rsync 生搬硬套到对象存储协议上,应改用对应平台的复制、版本固定和清单校验能力;目标仍然是同一件事:在明确的冻结点后证明引用和内容一致。
外部依赖按“重建配置”和“迁移数据”分开处理
FDW 的 server、user mapping、网络连通性和凭据属于目标环境配置,远端数据本身是否迁移取决于架构:如果目标库继续访问同一个远端系统,只需重建并验证连接;如果远端系统也要迁移,则应把它作为独立数据迁移项目处理。
扩展、角色、证书、KMS 密钥、服务器目录、应用侧 Secret 和定时任务也应进入切换清单。逻辑复制不会替你安装扩展、分发文件或复制操作系统权限。
最终验收不应只问“订阅是否追平”,而要逐项证明:表行已追平、Large Object 可按原 OID 读取、外部文件校验通过、FDW 或远端服务可连接、目标环境依赖已重建。这样才能把逻辑复制的边界从隐患变成显式的迁移清单。