架构与系统设计 / 系统课时
用上线清单评审事件架构
用上线清单评审事件架构
订单确认事件能正常发出,并不代表系统已经可以上线。本篇围绕订单确认后触发履约的场景,把契约、可靠性等七个维度转成可核验证据,再用发布门禁脚本与回退演练,形成明确的放行或阻断结论。
学习目标
- 把架构约定转成含证据、负责人与阻断条件的上线清单。
- 用处理能力、积压时长和业务对账判断生产风险。
- 执行评审门禁,区分代码回退与业务状态恢复。
先固定评审范围和硬门槛
本案例只评审 OrderConfirmed 事件及其履约消费者,业务约定是每笔订单只创建一份有效履约单。采用事务性发件箱(Outbox):订单变更与待发事件在同一数据库事务中提交,但后续投递仍可能重复,不能省略消费幂等。([AWS 文档][1])
评审前固定代码制品、配置、事件契约版本和目标环境。每个子检查记录验收标准、结果、证据位置、验证时间与负责人;旧版本的压测报告不能直接证明本次发布合格。清单应针对实际风险裁剪,而不是机械照搬。([Google SRE][2])
本篇约定:未验证等同不通过。漏事件、重复履约、越权访问和无法止损属于不可豁免项;展示性缺陷等低风险遗留项可以单独审批,但必须写明补救措施、负责人和期限,不能用总分抵消硬性失败。
七个维度要看哪些证据
把下表作为本案例的验收清单,每一行展开为具体检查项,而不是只填写一个“已完成”。
| 维度 | 必交证据 | 不能放行的情况 |
|---|---|---|
| 契约 | 字段语义、必填项及新旧消费者交叉测试 | 旧消费者无法处理新事件,或金额单位变化未经约定。([Confluent 文档][3]) |
| 可靠性 | 业务回滚、发布失败、消费提交后宕机的演练记录 | 漏事件、重复履约,或业务持久化前确认消息。([AWS 文档][1]) |
| 容量 | 峰值与节点故障压测、积压恢复及存储预算 | 故障后处理能力不足,或恢复窗口内消息已过期。([Google SRE][2]) |
| 安全 | 最小权限、传输加密、凭据管理与越权拒绝测试 | 共享管理员凭据或生产、消费权限越界。([AWS 文档][4]) |
| 监控 | 发布失败、积压年龄、消费进度和告警送达记录 | 只有进程存活检查,无法识别处理停滞。([RabbitMQ][5]) |
| 回滚 | 旧代码读取新事件、数据库兼容和切流演练 | 只验证镜像能启动,未验证存量事件可处理。([Confluent 文档][3]) |
| 故障处置 | 有界重试、死信隔离、限速回放及值班操作记录 | 无限重试,或死信只有存放位置、没有处置人。([AWS 文档][6]) |
契约测试要分方向:新消费者读旧事件服务于历史回放,旧消费者读新事件服务于混部与回退;通过前一种,不代表通过后一种。字段能反序列化也不等于业务语义一致,金额单位和状态含义仍需单独验收。([Confluent 文档][3])
可靠性测试要故意停在“履约写入已提交、消息尚未确认”的窗口,再让消息重新投递。验收业务结果只发生一次,而非要求消息只出现一次;同时核对幂等记录与业务写入的一致性。([RabbitMQ][7])
安全评审还应检查事件、日志和死信中的敏感字段;本案例要求不携带访问令牌,不向无关消费者暴露地址等信息。需要保留的敏感数据必须有访问边界、保留期限和审计责任人。
容量和告警必须落到数字
假设新增事件恒定为每秒1200条,恢复时积压60000条,成功处理能力稳定为每秒1800条,则每秒净消化600条,理想追平需要100秒。这里统计的是有效业务处理能力,不是包含重复重试的调用次数。
实际验收还要加入故障降级、热点分区、重试流量与下游限流,核算保留窗口和副本存储开销。正常时吞吐够用,不代表故障后仍有恢复余量。([Google SRE][2])
本案例的演示门槛是:正常流量下,5分钟窗口内至少1000条完成样本的确认至履约P99不超过2秒,最老未完成订单年龄不超过30秒。样本不足则延长观察,不直接通过;重复履约一经确认立即止损。这些是案例阈值,不是通用默认值。
除中间件指标外,还要检查业务处理时长与成功、失败数量,并实际触发告警验证值班人能收到通知;仅有健康检查不足以判断持续处理能力。([RabbitMQ][5])
把检查结果变成发布门禁
每个维度的子检查全部通过后,才能把该维度标记为通过。下面使用Python 3.10及以上版本,无第三方依赖;保存为 release_gate.py,运行 python3 release_gate.py。
脚本只检查评审记录,不连接中间件,也不验证报告真实性。证据标签和负责人均为演示值;正式流水线应读取与本次制品、环境绑定且已核验的报告,不能靠手改布尔值宣称验收通过。
# 独立维护必查项,防止通过删除失败记录绕过门禁。
REQUIRED = (
"contract", "reliability", "capacity", "security",
"observability", "rollback", "operations",
)
# 每项依次为:是否通过、负责人、证据标签;这里全部是演示数据。
checks = {
"contract": (True, "order-owner", "demo-contract"),
"reliability": (True, "order-owner", "demo-reliability"),
"capacity": (True, "ops-owner", "demo-capacity"),
"security": (True, "security-owner", "demo-security"),
"observability": (True, "ops-owner", "demo-alert"),
"rollback": (False, "release-owner", "demo-rollback-failed"),
"operations": (True, "ops-owner", "demo-runbook"),
}
def main() -> int:
blockers: list[str] = []
for key in REQUIRED:
item = checks.get(key)
if item is None:
blockers.append(f"{key}: missing")
continue
passed, owner, evidence = item
# 未通过、没有负责人或没有证据,均不允许继续。
if passed is not True or not owner.strip() or not evidence.strip():
blockers.append(f"{key}: failed or incomplete")
print("BLOCKED" if blockers else "READY_FOR_CANARY")
for reason in blockers:
print(reason)
# 非零退出码供流水线阻断后续发布阶段。
return 1 if blockers else 0
if __name__ == "__main__":
raise SystemExit(main())预期输出:
BLOCKED
rollback: failed or incomplete退出码为1,表示阻断后续发布。修复回滚问题并补充通过证据后,七项全部合格才会输出 READY_FOR_CANARY 并以0退出;这仅允许进入灰度,不代表立即全量。
可删除 capacity 记录后重跑,验证缺项仍会被阻断。实际接入流水线时,不得配置忽略失败或无条件继续,否则非零退出码也无法起到门禁作用。
先演练回退,再逐步放量
先在预生产环境演练消费者宕机、重复消息、不兼容事件和积压,记录发现、止损与恢复耗时。正式灰度按稳定的订单分组推进,每批都与正常版本比较业务指标;观察窗口和样本必须足够代表真实处理情况。([Google SRE][2])
本案例要求同一订单只有一条路径产生真实履约副作用。影子消费者只能比对结果,不能与正式消费者同时建单;复制流量却不隔离副作用,会使验证本身引入业务风险。([Google SRE][8])

异常时先停止新增灰度并暂停有害消费者,保留待发事件、消息、处理进度和幂等记录。旧代码同时兼容存量事件与数据库时才执行回退;否则隔离问题消息并前向修复,不能把“删消息”当恢复。
代码回退不会撤销已经完成的履约。恢复验收应限速回放、核对订单与履约结果,对已发生的错误另行执行经过审批的业务补偿;幂等记录保留窗口也必须覆盖计划中的重试与回放范围。
最终评审单写明放行或阻断、证据版本、灰度范围、停止条件和当班负责人。没有可执行的止损办法,就没有完整的上线方案。