架构与系统设计 / 系统课时
选型前先收集哪些业务指标
选型前先收集哪些业务指标
“需要高吞吐、低延迟的消息中间件”不足以支持选型,因为候选方案可能解决的是不同问题。本篇把业务需求整理为可测量的输入,算出带宽、存储和积压恢复的量级,最终形成能够用于验证候选方案的约束表。
学习目标
- 收集吞吐、消息大小、延迟、保留时间、消费模型与可用性目标。
- 区分实测数据、增长预测和业务硬性要求。
- 用统一假设估算容量,并定义候选方案的验收条件。
把形容词改成带口径的数字
按业务类别收集数据,而不是把订单事件、日志和大文件通知混成一个平均值。每个数字都应附带来源、统计窗口、负责人,并标注它是实测值、预测值还是目标值;尚未测量的项目要保留待验证状态。
下面是一份虚构的教学需求表,不代表任何产品的性能承诺。吞吐以消息条数计算,大小以序列化后的字节数计算;这里的保留要求明确包含已消费消息的重新读取。
| 维度 | 必须说明的口径 | 教学输入 |
|---|---|---|
| 吞吐 | 平均值、秒级峰值、峰值持续时间 | 平均 2000 条/秒,峰值 20000 条/秒持续 5 分钟 |
| 消息大小 | 含消息头的平均值、P99、最大值 | 平均 2 KiB,P99 为 16 KiB,最大 128 KiB |
| 延迟 | 起止边界、分位数、统计负载 | 峰值下发布确认 P99 ≤ 50 毫秒,端到端 P99 ≤ 500 毫秒 |
| 保留时间 | 重放窗口、最长离线与追赶时间 | 已消费数据可重放 7 天,离线 30 分钟后用 10 分钟追平 |
| 消费模型 | 独立订阅数、每组处理范围、顺序范围 | 3 个独立订阅各收全部消息,同一订单有序 |
| 可用性 | 统计口径、故障范围、恢复与丢失目标 | 28 天接收成功率 ≥ 99.95%;单节点故障下已确认消息不丢,5 分钟内恢复接收 |
对消息大小,P99 表示约 99% 的样本不超过该大小,并不是最大值。对吞吐,还要补充预期增长和热点分布:总量相同,均匀分布与集中在少数订单或租户上的负载,不能直接视作同一组测试输入。
分别约定延迟、重放与可用性的边界
本例把发布确认延迟定义为“调用发送至收到 broker 确认”,端到端延迟定义为“业务事实提交至目标消费者完成业务处理”。前者不能替代后者;发布确认并不证明消费者已经处理完成。([RabbitMQ][3])
采集跨服务端到端耗时时,还要约定时钟同步与误差范围。不能把生产端批处理等待排除在外,却声称测到了用户感知延迟;也不能只统计快速成功的消息,漏掉超时和失败样本。
可用性必须说明“成功数除以什么”。SRE 常用好事件数占总事件数的比例定义指标;分母、成功条件和统计窗口需要一起确定。([Google SRE][4])
本例以符合契约的首次发布尝试为分母,以一秒内获得成功确认的首次尝试为分子。重试结果另列;一秒是成功判定截止,不是表中的 50 毫秒 P99 延迟目标。
消费模型不能只写“有三个消费者”:三个实例分担一份工作,与三个独立订阅各处理全部消息,需求不同。还应写清消费后是否能重读,例如 RabbitMQ Streams 支持保留期内的非破坏性读取与重放,而普通队列不提供相同的消费后重读语义。([RabbitMQ][5])
保留七天也不能只检查时间参数。以 Kafka 的删除策略为例,时间和容量限制都影响旧日志的清理,容量限制还以分区为单位;验收需要验证数据在约定负载下确实能保留到目标窗口。([Apache Kafka][6])
用同一组假设估算容量与恢复能力
以下 Python 3 脚本可直接运行。存储按平均流量连续写入七天估算;带宽按峰值估算。三份数据指总共三份,而不是一份原始数据加三份备份。容量倍率 1.5 只是教学预算假设,不是通用推荐值。
def main() -> None:
# 全部是教学假设;消息大小按序列化后、未压缩的平均字节数计算。
avg_eps, peak_eps = 2000, 20000
bytes_per_message = 2 * 1024
retention_days, copies, subscribers = 7, 3, 3
planning_factor = 1.5
outage_seconds, catchup_seconds = 1800, 600
# 平均流量估算保留数据,峰值流量估算业务读写带宽。
peak_ingress = peak_eps * bytes_per_message
single_copy = avg_eps * bytes_per_message * 86400 * retention_days
storage_budget = single_copy * copies * planning_factor
peak_egress = peak_ingress * subscribers
# 假设恢复期间新消息仍以平均速率到达,净处理余量用于清空积压。
backlog = avg_eps * outage_seconds
required_eps = avg_eps + backlog / catchup_seconds
print(f"peak_ingress_mib_s={peak_ingress / 1024**2:.2f}")
print(f"peak_egress_mib_s={peak_egress / 1024**2:.2f}")
print(f"single_copy_tib={single_copy / 1024**4:.2f}")
print(f"storage_budget_tib={storage_budget / 1024**4:.2f}")
print(f"backlog_messages={backlog}")
print(f"required_recovery_eps={required_eps:.0f}")
if __name__ == "__main__":
main()预期输出:
peak_ingress_mib_s=39.06
peak_egress_mib_s=117.19
single_copy_tib=2.25
storage_budget_tib=10.14
backlog_messages=3600000
required_recovery_eps=8000这里 MiB 为 1024 的平方字节,TiB 为 1024 的四次方字节。峰值业务写入约 39.06 MiB/秒,三个独立订阅全部跟上峰值时,业务读取合计约 117.19 MiB/秒;这些数值尚未计入副本同步、协议开销和重投。
原始单份保留数据约 2.25 TiB,乘三份数据和预算倍率后为 10.14 TiB。这是待验证的总量预算,不是单节点磁盘容量;压缩、索引、日志段、空间利用率与故障重建所需余量仍须根据候选实现核算。
离线半小时会积压 360 万条。恢复期间若仍有每秒 2000 条新消息到达,每秒处理 8000 条才能提供每秒 6000 条的净消化能力,从而在十分钟内追平。这一恢复下限要对每个独立订阅分别核算。
8000 条/秒不能替代峰值下 20000 条/秒的处理能力要求。若恢复时新流量就是每秒 20000 条,相同积压和追平期限会把所需能力提高到每秒 26000 条;因此恢复场景必须写明当时的新流量假设。
把输入变成候选方案的验收门槛
优先筛掉无法满足硬性语义的方案,再比较性能和成本。七天重放、同一订单有序、故障下已确认消息的保护范围,都是需要证明的条件,不能因为某项吞吐成绩高就被忽略。
验证计划至少覆盖真实大小分布、五分钟峰值、三个独立订阅,以及故障后边接收新消息边清积压。比较时保持持久化要求、副本条件和硬件预算可比,同时记录延迟分位数、失败率与恢复耗时。
运维能力、客户端语言、托管服务限制和预算也应写入选型输入,区分硬约束与偏好。交付物应是一份有来源、有计算假设、有验收方法的需求表,而不是一句“预计选用某中间件”。