消息队列 / 系统课时
定义性能目标
定义性能目标
Kafka 调优不能从“把参数调大”开始,而要先把业务需求转换成可测量的指标。本课将建立一组可验收的性能目标,并用吞吐、端到端延迟、峰值倍数、积压恢复时间和可用性推导初始容量。
学习目标
- 能用统一口径描述 Kafka 的吞吐与延迟目标
- 能根据峰值和恢复时间估算最低消费能力
- 能把性能目标写成可执行的压测验收标准
先统一指标口径
吞吐既可以用每秒消息数表示,也可以用每秒字节数表示。消息大小差异明显时,只看消息数会误判网络和磁盘压力,因此两种口径应同时记录。
端到端延迟是消息从生产者开始发送,到消费者完成业务处理的总时间。必须明确观察的是平均值、P95、P99 还是最大值;容量验收通常以 P99 更有意义,因为平均值会掩盖尾部抖动。
可用性目标需要写清统计周期和允许中断时间。例如月可用性 99.95%,理论上每月允许的不可用时间约为 21.6 分钟,但实际还要结合故障切换和数据恢复要求。
用公式描述容量目标
设稳定业务吞吐为 ,峰值倍数为 ,则峰值写入目标为:
若峰值期间产生积压 条消息,希望在 秒内恢复,同时仍要处理实时流量,则最低消费能力为:
这个结果还没有包含安全余量。生产环境通常需要乘以容量系数,例如 1.3 到 2.0,用来吸收消息大小波动、消费者暂停、再均衡和节点故障。
编写可验收的目标清单
下面用 YAML 固化一组示例目标。它不是 Kafka 配置文件,而是压测与评审共同使用的验收规格;实际数值应由业务峰值、消息大小和服务等级目标确定。
workload:
average_messages_per_second: 12000
peak_multiplier: 3
average_message_bytes: 1024
peak_duration_minutes: 20
latency:
end_to_end_p95_ms: 300
end_to_end_p99_ms: 800
backlog:
maximum_messages: 18000000
recovery_minutes: 30
availability:
monthly_target_percent: 99.95
maximum_rpo_seconds: 0
maximum_rto_minutes: 10
headroom:
capacity_factor: 1.5生效行为与验证方法:压测工具按 peak_multiplier 生成峰值流量,监控端记录生产吞吐、消费吞吐、Consumer Lag 和端到端延迟;测试结束后逐项与 YAML 阈值比较。该文件本身不会改变 Kafka 参数。
推导示例
示例中平均吞吐为 12000 条/秒,峰值倍数为 3,因此峰值流量为 36000 条/秒。最大积压 1800 万条要求在 30 分钟,也就是 1800 秒内清空,额外恢复能力为 10000 条/秒。
因此消费者最低持续能力是 46000 条/秒。再乘以 1.5 的安全系数,容量目标应按 69000 条/秒设计,而不是只满足 36000 条/秒的实时峰值。
按平均消息 1024 字节估算,峰值原始数据速率约为 35.2 MiB/s。复制因子、协议开销、索引和保留策略会进一步放大磁盘与网络需求,因此该数值只能作为初始输入,不能直接等同于 Broker 带宽。
压测验收边界
压测必须固定主题分区数、副本因子、消息大小分布、acks、压缩算法和消费者处理逻辑,否则不同轮次结果不可比较。只测生产者而忽略消费者,无法验证积压恢复目标。
达标条件应同时满足:峰值期间无不可接受错误、P99 延迟不超阈值、积压在规定时间内恢复、单节点故障后仍满足降级目标。任何一项失败,都应先定位瓶颈,再决定增加分区、扩容 Broker 或优化消费者。
本课总结
- 性能目标必须同时包含吞吐、尾延迟、峰值、积压恢复和可用性
- 消费容量要覆盖实时流量与积压清理能力,并保留安全余量
- 压测规格必须固定关键变量,结果才能比较和验收
下一课预告
下一课将基于这些目标设计压测场景,并把分区数、Broker 数量和消费者并发度转化为可执行的容量方案。