PostgreSQL / 系统课时
注入故障并执行回退
注入故障并执行回退
迁移演练的价值不在于“故意把系统弄坏”,而在于确认异常出现时能按阈值快速止损。本课用可控方式制造复制积压、订阅中断和切换后异常,并给出恢复、继续切换与回退的判定边界。
学习目标
- 用可逆操作注入逻辑复制延迟与订阅中断,并通过系统视图验证现象。
- 根据复制积压、业务健康和数据一致性指标决定恢复、暂停切换或执行回退。
- 理解切换后回退的前提,避免目标库已产生新写入后直接把流量切回旧库。
先定义故障演练边界
故障注入必须只在演练环境或明确批准的迁移窗口中执行。开始前记录源库与目标库连接信息、订阅名、关键表校验 SQL、应用切流入口,并确认至少一名执行人和一名复核人在场。
建议预先写下三类停止条件:复制积压超过阈值、目标库关键接口失败、数据校验不一致。任何一项达到停止条件,就先冻结后续切换动作,再判断是恢复复制还是回退流量。

注入复制延迟和订阅中断
最可控的做法是暂时停用订阅。停用后发布端仍可继续产生变更,订阅端停止拉取,恢复订阅后会继续消费尚未处理的 WAL 变更。以下命令在订阅端执行,先确认订阅名称再停用。
SELECT subname, subenabled
FROM pg_subscription;
ALTER SUBSCRIPTION migration_sub DISABLE;
SELECT subname, subenabled
FROM pg_subscription
WHERE subname = 'migration_sub';预期结果
subname | subenabled
---------------+------------
migration_sub | f实际输出格式可能因 psql 版本和终端宽度不同。停用期间在源库写入一批测试数据,再从订阅端观察复制状态,即可形成可控积压。
恢复订阅时执行:
ALTER SUBSCRIPTION migration_sub ENABLE;
SELECT subname, pid, received_lsn, latest_end_lsn
FROM pg_stat_subscription
WHERE subname = 'migration_sub';预期结果
subname | pid | received_lsn | latest_end_lsn
---------------+-------+--------------+---------------
migration_sub | <PID> | <VALUE> | <VALUE>pid、LSN 等动态值以现场实际结果为准。恢复后不要只看订阅进程存在,还要等待业务数据追平并完成一致性验证。
判断是恢复还是回退
演练时可以把决策压缩为三个问题。第一,订阅是否能恢复并持续推进;第二,目标库是否能通过应用健康检查;第三,切换后目标库是否已经产生源库没有的新写入。
如果只是订阅短暂停止,且恢复后积压持续下降,应继续等待追平,而不是马上回退。如果目标库健康检查失败但尚未正式接收写流量,可以直接停止切换并恢复原路径。
演练切换后异常
切换后异常应从应用侧健康检查触发,而不是继续制造数据库破坏。可以在目标库执行一组只读验收 SQL,验证关键表可查询、最新业务记录存在、序列与约束工作正常。
SELECT COUNT(*) AS recent_orders
FROM orders
WHERE updated_at >= now() - interval '10 minutes';
SELECT MAX(updated_at) AS latest_update
FROM orders;预期结果
recent_orders
---------------
<VALUE>
latest_update
------------------------
<TIME><VALUE> 与 <TIME> 取决于演练数据。若应用错误率超阈值、关键查询失败或数据校验不一致,应立即停止继续放量。
执行回退并验证
如果目标库尚未承接新写入,回退可以恢复应用到源库并重新验证源库健康。如果目标库已经承接新写入,先停止写流量,再按预案执行反向同步或人工补偿,确认两端一致后才允许回切。
回退完成后至少检查四项:应用连接已指向预期数据库、源库可正常写入、订阅状态符合预案、关键业务表抽样一致。把每次故障的触发时间 <TIME>、决策、执行人和恢复耗时记录下来,下一次迁移才能把“经验”变成可复用的阈值和动作。