可观测性与稳定性 / 系统课时
故障切换后怎样安全回切
故障切换后怎样安全回切
故障切到备用节点后,原主节点即使修好也不能立即抢回流量。安全回切的关键是先确定权威数据源,让旧节点重新追平数据,再逐步转移流量并持续观察,避免双写、数据倒退和第二次业务中断。
学习目标
- 理解回切前必须解决的数据一致性和节点角色问题
- 按同步、验证、流量迁移和旧节点处置的顺序执行回切
- 识别双主、数据倒退和过早切流等高风险操作
先确定谁拥有最新数据
故障切换后,备用节点可能已经承担生产写入,因此它通常积累了原主节点没有的新数据。此时“原主机已经修好”只是基础设施状态,不能证明它仍有资格直接成为主节点。
回切前首先冻结角色判断:明确当前生产写入节点,把它视为本轮恢复期间的权威数据来源;原主节点以待同步节点身份重新加入。具体数据库若有自己的主从选举、复制位点或共识协议,应以该系统提供的机制判断数据新旧,而不是比较文件修改时间。

让旧节点先追平而不是先接流量
重新加入旧节点前,应阻止它接受生产写入,并按照所用数据库或存储系统的正式复制流程,从当前权威节点同步缺失数据。同步期间重点观察复制错误、积压量以及复制延迟。
不同数据库检查复制状态的命令不同,不能用一条通用命令判断所有系统。对于主机层面,可以先验证旧节点到当前生产节点的网络连通性。例如数据库监听在 <PORT>:
nc -vz <HOST> <PORT>预期输出
Connection to <HOST> <PORT> port [tcp/*] succeeded!该结果只说明 TCP 连接成功,不代表复制已经建立,更不代表数据已经追平。后续必须使用当前数据库提供的复制状态、日志位置或一致性校验机制确认同步完成。
切流量前设置明确门槛
数据追平后,还应确认旧节点的软件版本、配置、证书、密钥和依赖地址与当前生产要求一致。若原故障由配置或程序缺陷触发,仅恢复机器而没有消除根因,回切会重新触发同一故障。
流量切回前至少确认:旧节点能够持续通过健康检查;复制没有继续积压;关键数据校验符合预期;应用日志没有持续认证或依赖错误;监控和告警已经恢复。只有这些条件同时满足,节点才具备接收生产流量的资格。
用渐进方式切回流量
具备条件后,不要一步把全部流量切回。若负载均衡器或服务发现系统支持权重调整,可先让恢复节点承担少量请求,观察错误率、延迟、资源使用和业务成功率,再逐级增加流量。
回切期间要保留快速撤回路径:一旦恢复节点出现错误率明显升高、延迟异常或数据一致性问题,应把流量重新导向当前稳定节点。DNS 场景还要考虑 TTL 和客户端缓存,不能把修改解析记录的时刻当成全部客户端完成切换的时刻。
回切后重新建立可恢复状态
全部流量稳定后,再明确新的主备关系,并确认备用节点仍能从权威节点持续同步。不要因为原主机已经重新承担业务,就立刻销毁故障期间使用的稳定节点;应保留足够的观察窗口和再次切换能力。
最后执行一次关键业务读写验证,并检查复制、错误率、延迟和告警状态。安全回切的目标不是让拓扑尽快恢复原样,而是在任何一步异常时都能停止或撤回,并且始终只有明确的数据权威和受控的生产写入路径。