PostgreSQL / 系统课时

注入故障并执行回退

注入故障并执行回退

迁移演练的价值不在于“故意把系统弄坏”,而在于确认异常出现时能按阈值快速止损。本课用可控方式制造复制积压、订阅中断和切换后异常,并给出恢复、继续切换与回退的判定边界。

学习目标

  • 用可逆操作注入逻辑复制延迟与订阅中断,并通过系统视图验证现象。
  • 根据复制积压、业务健康和数据一致性指标决定恢复、暂停切换或执行回退。
  • 理解切换后回退的前提,避免目标库已产生新写入后直接把流量切回旧库。

先定义故障演练边界

故障注入必须只在演练环境或明确批准的迁移窗口中执行。开始前记录源库与目标库连接信息、订阅名、关键表校验 SQL、应用切流入口,并确认至少一名执行人和一名复核人在场。

建议预先写下三类停止条件:复制积压超过阈值、目标库关键接口失败、数据校验不一致。任何一项达到停止条件,就先冻结后续切换动作,再判断是恢复复制还是回退流量。

迁移故障注入与回退决策流程

注入复制延迟和订阅中断

最可控的做法是暂时停用订阅。停用后发布端仍可继续产生变更,订阅端停止拉取,恢复订阅后会继续消费尚未处理的 WAL 变更。以下命令在订阅端执行,先确认订阅名称再停用。

sql
SELECT subname, subenabled
FROM pg_subscription;

ALTER SUBSCRIPTION migration_sub DISABLE;

SELECT subname, subenabled
FROM pg_subscription
WHERE subname = 'migration_sub';

预期结果

text
    subname    | subenabled
---------------+------------
 migration_sub | f

实际输出格式可能因 psql 版本和终端宽度不同。停用期间在源库写入一批测试数据,再从订阅端观察复制状态,即可形成可控积压。

恢复订阅时执行:

sql
ALTER SUBSCRIPTION migration_sub ENABLE;

SELECT subname, pid, received_lsn, latest_end_lsn
FROM pg_stat_subscription
WHERE subname = 'migration_sub';

预期结果

text
    subname    |  pid  | received_lsn | latest_end_lsn
---------------+-------+--------------+---------------
 migration_sub | <PID> | <VALUE>      | <VALUE>

pid、LSN 等动态值以现场实际结果为准。恢复后不要只看订阅进程存在,还要等待业务数据追平并完成一致性验证。

判断是恢复还是回退

演练时可以把决策压缩为三个问题。第一,订阅是否能恢复并持续推进;第二,目标库是否能通过应用健康检查;第三,切换后目标库是否已经产生源库没有的新写入。

如果只是订阅短暂停止,且恢复后积压持续下降,应继续等待追平,而不是马上回退。如果目标库健康检查失败但尚未正式接收写流量,可以直接停止切换并恢复原路径。

演练切换后异常

切换后异常应从应用侧健康检查触发,而不是继续制造数据库破坏。可以在目标库执行一组只读验收 SQL,验证关键表可查询、最新业务记录存在、序列与约束工作正常。

sql
SELECT COUNT(*) AS recent_orders
FROM orders
WHERE updated_at >= now() - interval '10 minutes';

SELECT MAX(updated_at) AS latest_update
FROM orders;

预期结果

text
 recent_orders
---------------
 <VALUE>

     latest_update
------------------------
 <TIME>

<VALUE> 与 <TIME> 取决于演练数据。若应用错误率超阈值、关键查询失败或数据校验不一致,应立即停止继续放量。

执行回退并验证

如果目标库尚未承接新写入,回退可以恢复应用到源库并重新验证源库健康。如果目标库已经承接新写入,先停止写流量,再按预案执行反向同步或人工补偿,确认两端一致后才允许回切。

回退完成后至少检查四项:应用连接已指向预期数据库、源库可正常写入、订阅状态符合预案、关键业务表抽样一致。把每次故障的触发时间 <TIME>、决策、执行人和恢复耗时记录下来,下一次迁移才能把“经验”变成可复用的阈值和动作。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

注入故障并执行回退

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通