架构与系统设计 / 系统课时

选型前先收集哪些业务指标

选型前先收集哪些业务指标

“需要高吞吐、低延迟的消息中间件”不足以支持选型,因为候选方案可能解决的是不同问题。本篇把业务需求整理为可测量的输入,算出带宽、存储和积压恢复的量级,最终形成能够用于验证候选方案的约束表。

学习目标

  • 收集吞吐、消息大小、延迟、保留时间、消费模型与可用性目标。
  • 区分实测数据、增长预测和业务硬性要求。
  • 用统一假设估算容量,并定义候选方案的验收条件。

把形容词改成带口径的数字

按业务类别收集数据,而不是把订单事件、日志和大文件通知混成一个平均值。每个数字都应附带来源、统计窗口、负责人,并标注它是实测值、预测值还是目标值;尚未测量的项目要保留待验证状态。

下面是一份虚构的教学需求表,不代表任何产品的性能承诺。吞吐以消息条数计算,大小以序列化后的字节数计算;这里的保留要求明确包含已消费消息的重新读取。

维度 必须说明的口径 教学输入
吞吐 平均值、秒级峰值、峰值持续时间 平均 2000 条/秒,峰值 20000 条/秒持续 5 分钟
消息大小 含消息头的平均值、P99、最大值 平均 2 KiB,P99 为 16 KiB,最大 128 KiB
延迟 起止边界、分位数、统计负载 峰值下发布确认 P99 ≤ 50 毫秒,端到端 P99 ≤ 500 毫秒
保留时间 重放窗口、最长离线与追赶时间 已消费数据可重放 7 天,离线 30 分钟后用 10 分钟追平
消费模型 独立订阅数、每组处理范围、顺序范围 3 个独立订阅各收全部消息,同一订单有序
可用性 统计口径、故障范围、恢复与丢失目标 28 天接收成功率 ≥ 99.95%;单节点故障下已确认消息不丢,5 分钟内恢复接收

对消息大小,P99 表示约 99% 的样本不超过该大小,并不是最大值。对吞吐,还要补充预期增长和热点分布:总量相同,均匀分布与集中在少数订单或租户上的负载,不能直接视作同一组测试输入。

分别约定延迟、重放与可用性的边界

本例把发布确认延迟定义为“调用发送至收到 broker 确认”,端到端延迟定义为“业务事实提交至目标消费者完成业务处理”。前者不能替代后者;发布确认并不证明消费者已经处理完成。([RabbitMQ][3])

采集跨服务端到端耗时时,还要约定时钟同步与误差范围。不能把生产端批处理等待排除在外,却声称测到了用户感知延迟;也不能只统计快速成功的消息,漏掉超时和失败样本。

可用性必须说明“成功数除以什么”。SRE 常用好事件数占总事件数的比例定义指标;分母、成功条件和统计窗口需要一起确定。([Google SRE][4])

本例以符合契约的首次发布尝试为分母,以一秒内获得成功确认的首次尝试为分子。重试结果另列;一秒是成功判定截止,不是表中的 50 毫秒 P99 延迟目标。

消费模型不能只写“有三个消费者”:三个实例分担一份工作,与三个独立订阅各处理全部消息,需求不同。还应写清消费后是否能重读,例如 RabbitMQ Streams 支持保留期内的非破坏性读取与重放,而普通队列不提供相同的消费后重读语义。([RabbitMQ][5])

保留七天也不能只检查时间参数。以 Kafka 的删除策略为例,时间和容量限制都影响旧日志的清理,容量限制还以分区为单位;验收需要验证数据在约定负载下确实能保留到目标窗口。([Apache Kafka][6])

用同一组假设估算容量与恢复能力

以下 Python 3 脚本可直接运行。存储按平均流量连续写入七天估算;带宽按峰值估算。三份数据指总共三份,而不是一份原始数据加三份备份。容量倍率 1.5 只是教学预算假设,不是通用推荐值。

python
def main() -> None:
    # 全部是教学假设;消息大小按序列化后、未压缩的平均字节数计算。
    avg_eps, peak_eps = 2000, 20000
    bytes_per_message = 2 * 1024
    retention_days, copies, subscribers = 7, 3, 3
    planning_factor = 1.5
    outage_seconds, catchup_seconds = 1800, 600

    # 平均流量估算保留数据,峰值流量估算业务读写带宽。
    peak_ingress = peak_eps * bytes_per_message
    single_copy = avg_eps * bytes_per_message * 86400 * retention_days
    storage_budget = single_copy * copies * planning_factor
    peak_egress = peak_ingress * subscribers

    # 假设恢复期间新消息仍以平均速率到达,净处理余量用于清空积压。
    backlog = avg_eps * outage_seconds
    required_eps = avg_eps + backlog / catchup_seconds
    print(f"peak_ingress_mib_s={peak_ingress / 1024**2:.2f}")
    print(f"peak_egress_mib_s={peak_egress / 1024**2:.2f}")
    print(f"single_copy_tib={single_copy / 1024**4:.2f}")
    print(f"storage_budget_tib={storage_budget / 1024**4:.2f}")
    print(f"backlog_messages={backlog}")
    print(f"required_recovery_eps={required_eps:.0f}")

if __name__ == "__main__":
    main()

预期输出:

text
peak_ingress_mib_s=39.06
peak_egress_mib_s=117.19
single_copy_tib=2.25
storage_budget_tib=10.14
backlog_messages=3600000
required_recovery_eps=8000

这里 MiB 为 1024 的平方字节,TiB 为 1024 的四次方字节。峰值业务写入约 39.06 MiB/秒,三个独立订阅全部跟上峰值时,业务读取合计约 117.19 MiB/秒;这些数值尚未计入副本同步、协议开销和重投。

原始单份保留数据约 2.25 TiB,乘三份数据和预算倍率后为 10.14 TiB。这是待验证的总量预算,不是单节点磁盘容量;压缩、索引、日志段、空间利用率与故障重建所需余量仍须根据候选实现核算。

离线半小时会积压 360 万条。恢复期间若仍有每秒 2000 条新消息到达,每秒处理 8000 条才能提供每秒 6000 条的净消化能力,从而在十分钟内追平。这一恢复下限要对每个独立订阅分别核算。

8000 条/秒不能替代峰值下 20000 条/秒的处理能力要求。若恢复时新流量就是每秒 20000 条,相同积压和追平期限会把所需能力提高到每秒 26000 条;因此恢复场景必须写明当时的新流量假设。

把输入变成候选方案的验收门槛

优先筛掉无法满足硬性语义的方案,再比较性能和成本。七天重放、同一订单有序、故障下已确认消息的保护范围,都是需要证明的条件,不能因为某项吞吐成绩高就被忽略。

验证计划至少覆盖真实大小分布、五分钟峰值、三个独立订阅,以及故障后边接收新消息边清积压。比较时保持持久化要求、副本条件和硬件预算可比,同时记录延迟分位数、失败率与恢复耗时。

运维能力、客户端语言、托管服务限制和预算也应写入选型输入,区分硬约束与偏好。交付物应是一份有来源、有计算假设、有验收方法的需求表,而不是一句“预计选用某中间件”。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

选型前先收集哪些业务指标

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通