架构与系统设计 / 系统课时
设计流量切换与快速回滚
设计流量切换与快速回滚
把遗留单体中的能力切到新服务时,真正需要控制的不是“是否上线”,而是“多少请求走新路径、出现异常后多久能退回”。本节用稳定灰度、最高优先级回退开关和旧路径保留,把切换设计成可观察、可暂停、可逆的迁移过程。
学习目标
- 设计稳定、可逐步放量的灰度路由规则
- 为切换过程定义可快速触发的回滚开关与阈值
- 识别数据和副作用导致“流量回去了但系统没恢复”的风险
把切换做成可逆控制面
迁移期间不要把“新服务已部署”等同于“所有流量必须进入新服务”。更稳妥的做法是把路由层当成控制面:旧实现继续可用,新实现先承接一小部分请求,观察稳定后再逐步放量。这样故障处理优先改变流量方向,而不是临时回滚代码或重新部署整个系统。
一个实用的控制面通常有三层规则。强制旧路径开关优先级最高,用于紧急止损;灰度比例决定允许进入新服务的请求规模;稳定分桶键保证同一用户、租户或订单尽量持续命中同一路径,避免一次走旧服务、下一次又走新服务造成状态抖动。

用稳定分桶验证灰度策略
下面的最小程序用业务主体 ID 计算稳定哈希桶。相同 ID 每次都会得到相同分桶;NEW_PERCENT 控制新服务比例,FORCE_OLD 则覆盖所有灰度规则。实际网关可以用同样原则实现,但分桶键应选择不会频繁变化的用户、租户或订单标识。
import hashlib
import os
NEW_PERCENT = int(os.getenv("NEW_PERCENT", "20"))
FORCE_OLD = os.getenv("FORCE_OLD", "0") == "1"
if not 0 <= NEW_PERCENT <= 100:
raise ValueError("NEW_PERCENT must be between 0 and 100")
def choose_route(subject_id: str) -> str:
# 紧急回退开关优先于任何灰度比例。
if FORCE_OLD:
return "old"
# 取稳定哈希得到 0~99 的桶,同一主体不会在两条路径间随机跳动。
digest = hashlib.sha256(subject_id.encode("utf-8")).digest()
bucket = int.from_bytes(digest[:4], "big") % 100
return "new" if bucket < NEW_PERCENT else "old"
for subject_id in ("cust-a", "cust-b", "cust-c", "cust-d", "cust-e"):
print(f"{subject_id}: {choose_route(subject_id)}")预期输出
cust-a: old
cust-b: new
cust-c: old
cust-d: old
cust-e: new默认比例是 20%。这里的样本只是验证“稳定分桶”而不是证明总体比例恰好为 20%;比例是否接近目标,应在足够大的真实样本上通过指标统计确认。
紧急回滚时不需要修改代码,只需让强制旧路径开关生效。将上面的程序保存为 route_demo.py 后,可以这样验证:
FORCE_OLD=1 python route_demo.py预期输出
cust-a: old
cust-b: old
cust-c: old
cust-d: old
cust-e: old给回滚设置明确触发条件
如果团队只能靠“感觉不对”决定是否回滚,灰度就会在故障时变成争论。切流前应先约定少量可直接判定的阈值,例如新路径错误率持续高于旧路径、P95 延迟超过目标、关键业务成功率下降,或出现账务和库存等不可接受的数据不一致。
触发阈值后,处理顺序应尽量简单:先打开强制旧路径开关停止继续暴露,再确认新请求已回到稳定实现,然后保留故障现场和指标排查新服务。不要把“先修复再回滚”设为前提,否则快速回滚就失去了意义。
保留旧路径直到迁移真正稳定
旧路径的价值不仅是备用代码,还包括它依赖的数据、配置、权限和发布能力。若新服务刚接管 30% 流量就删除旧接口、停止旧数据库同步或清理旧部署,即使路由能切回,实际也可能无法恢复服务。
因此,删除旧路径应晚于流量切换。至少等到新服务在目标流量下经过完整观察窗口,并确认告警、容量、数据一致性和下游调用都稳定,再进入旧实现下线流程。切换阶段优先追求可逆,清理阶段再追求架构整洁。
验收一次真实的回滚演练
上线前至少做一次故障演练:先用小比例流量验证新路径,再人为制造一个可控异常,让监控达到预设阈值,随后打开回退开关并确认新请求全部回到旧路径。验收时同时观察错误率、延迟、业务成功率和数据侧影响,而不是只看网关是否返回 200。
能够在不重新部署业务代码的情况下把新请求快速切回旧实现,并且不会留下不可处理的数据副作用,才算真正具备可回滚的迁移能力。