架构与系统设计 / 系统课时

设计流量切换与快速回滚

设计流量切换与快速回滚

把遗留单体中的能力切到新服务时,真正需要控制的不是“是否上线”,而是“多少请求走新路径、出现异常后多久能退回”。本节用稳定灰度、最高优先级回退开关和旧路径保留,把切换设计成可观察、可暂停、可逆的迁移过程。

学习目标

  • 设计稳定、可逐步放量的灰度路由规则
  • 为切换过程定义可快速触发的回滚开关与阈值
  • 识别数据和副作用导致“流量回去了但系统没恢复”的风险

把切换做成可逆控制面

迁移期间不要把“新服务已部署”等同于“所有流量必须进入新服务”。更稳妥的做法是把路由层当成控制面:旧实现继续可用,新实现先承接一小部分请求,观察稳定后再逐步放量。这样故障处理优先改变流量方向,而不是临时回滚代码或重新部署整个系统。

一个实用的控制面通常有三层规则。强制旧路径开关优先级最高,用于紧急止损;灰度比例决定允许进入新服务的请求规模;稳定分桶键保证同一用户、租户或订单尽量持续命中同一路径,避免一次走旧服务、下一次又走新服务造成状态抖动。

灰度切换与快速回滚控制面

用稳定分桶验证灰度策略

下面的最小程序用业务主体 ID 计算稳定哈希桶。相同 ID 每次都会得到相同分桶;NEW_PERCENT 控制新服务比例,FORCE_OLD 则覆盖所有灰度规则。实际网关可以用同样原则实现,但分桶键应选择不会频繁变化的用户、租户或订单标识。

python
import hashlib
import os

NEW_PERCENT = int(os.getenv("NEW_PERCENT", "20"))
FORCE_OLD = os.getenv("FORCE_OLD", "0") == "1"

if not 0 <= NEW_PERCENT <= 100:
    raise ValueError("NEW_PERCENT must be between 0 and 100")


def choose_route(subject_id: str) -> str:
    # 紧急回退开关优先于任何灰度比例。
    if FORCE_OLD:
        return "old"

    # 取稳定哈希得到 0~99 的桶,同一主体不会在两条路径间随机跳动。
    digest = hashlib.sha256(subject_id.encode("utf-8")).digest()
    bucket = int.from_bytes(digest[:4], "big") % 100
    return "new" if bucket < NEW_PERCENT else "old"


for subject_id in ("cust-a", "cust-b", "cust-c", "cust-d", "cust-e"):
    print(f"{subject_id}: {choose_route(subject_id)}")

预期输出

text
cust-a: old
cust-b: new
cust-c: old
cust-d: old
cust-e: new

默认比例是 20%。这里的样本只是验证“稳定分桶”而不是证明总体比例恰好为 20%;比例是否接近目标,应在足够大的真实样本上通过指标统计确认。

紧急回滚时不需要修改代码,只需让强制旧路径开关生效。将上面的程序保存为 route_demo.py 后,可以这样验证:

bash
FORCE_OLD=1 python route_demo.py

预期输出

text
cust-a: old
cust-b: old
cust-c: old
cust-d: old
cust-e: old

给回滚设置明确触发条件

如果团队只能靠“感觉不对”决定是否回滚,灰度就会在故障时变成争论。切流前应先约定少量可直接判定的阈值,例如新路径错误率持续高于旧路径、P95 延迟超过目标、关键业务成功率下降,或出现账务和库存等不可接受的数据不一致。

触发阈值后,处理顺序应尽量简单:先打开强制旧路径开关停止继续暴露,再确认新请求已回到稳定实现,然后保留故障现场和指标排查新服务。不要把“先修复再回滚”设为前提,否则快速回滚就失去了意义。

保留旧路径直到迁移真正稳定

旧路径的价值不仅是备用代码,还包括它依赖的数据、配置、权限和发布能力。若新服务刚接管 30% 流量就删除旧接口、停止旧数据库同步或清理旧部署,即使路由能切回,实际也可能无法恢复服务。

因此,删除旧路径应晚于流量切换。至少等到新服务在目标流量下经过完整观察窗口,并确认告警、容量、数据一致性和下游调用都稳定,再进入旧实现下线流程。切换阶段优先追求可逆,清理阶段再追求架构整洁。

验收一次真实的回滚演练

上线前至少做一次故障演练:先用小比例流量验证新路径,再人为制造一个可控异常,让监控达到预设阈值,随后打开回退开关并确认新请求全部回到旧路径。验收时同时观察错误率、延迟、业务成功率和数据侧影响,而不是只看网关是否返回 200。

能够在不重新部署业务代码的情况下把新请求快速切回旧实现,并且不会留下不可处理的数据副作用,才算真正具备可回滚的迁移能力。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

设计流量切换与快速回滚

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通