架构与系统设计 / 系统课时
处理消息积压与消费扩容
处理消息积压与消费扩容
消息积压不能只看 lag 数字就盲目加消费者。本课用生产速率、消费速率、分区并行度和数据库写入上限判断真正瓶颈,并通过可计算的清空时间决定扩容、扩分区、降级或入口限流。
学习目标
- 用 lag、生产速率和有效消费速率判断积压是否继续扩大
- 估算不同消费者数量下的清空时间,并识别数据库上限
- 按瓶颈选择扩消费者、扩分区、降级写入或限流入口
先看 lag 的变化方向
设当前积压量为 lag,入口生产速率为 produce_rate,实际消费速率为 consume_rate。当消费速率小于生产速率时,积压会继续增长;只有 consume_rate > produce_rate 时才进入清空阶段。
清空时间可以按 lag / (consume_rate - produce_rate) 估算。这里使用的是“净消化速率”,不是消费者的总吞吐。例如积压 900000 条、生产 2000 条/秒、实际消费 3500 条/秒,净消化速率只有 1500 条/秒,理论上仍需约 600 秒,也就是 10 分钟。
找到真正限制吞吐的环节
消费者数量只是并发上限的一部分。有效消费速率通常同时受分区数、单消费者处理能力、下游数据库写入上限和连接池容量约束。消费者多于可并行分区时,多出来的实例可能处于空闲;数据库已经满载时,继续扩消费者则可能把积压从消息队列转移成数据库超时。

因此定位积压时应从“哪一段已经到上限”开始:先比较生产与消费速率,再看消费者实例是否吃满分区并行度,最后检查数据库 CPU、连接池、锁等待或写入限额。只有上游仍有并行空间且下游还有余量时,扩消费者才会线性收益。
用脚本估算扩容收益
下面的脚本把分区数和数据库上限一起放进计算,直接比较扩到 2、4、6、8 个消费者后的有效吞吐与清空时间。
lag = 900_000
produce_rate = 2_000
per_consumer_rate = 700
partitions = 8
database_limit = 3_500
def estimate(consumers: int) -> tuple[int, float | None]:
# 消费并行度不会超过可用分区数。
parallelism = min(consumers, partitions)
raw_rate = parallelism * per_consumer_rate
# 下游数据库是第二个硬上限。
effective_rate = min(raw_rate, database_limit)
net_drain = effective_rate - produce_rate
if net_drain <= 0:
return effective_rate, None
return effective_rate, lag / net_drain / 60
for consumers in (2, 4, 6, 8):
rate, minutes = estimate(consumers)
if minutes is None:
print(f"consumers={consumers} effective={rate}/s clear=never (lag growing)")
else:
print(f"consumers={consumers} effective={rate}/s clear={minutes:.2f} min")预期输出:
consumers=2 effective=1400/s clear=never (lag growing)
consumers=4 effective=2800/s clear=18.75 min
consumers=6 effective=3500/s clear=10.00 min
consumers=8 effective=3500/s clear=10.00 min结果说明 6 个消费者已经把数据库写入能力吃满,继续扩到 8 个不会缩短清空时间。若真实系统还存在批量写入、重试、热点分区或锁竞争,实际有效速率应以监控值为准,再代回公式估算。
按瓶颈选择处理动作
如果消费者未达到分区并行度、数据库也有余量,可以临时扩消费者;如果消费者已经被分区数卡住,而消息系统支持在线扩分区,可以增加分区后再扩消费者,但要评估键分区、局部顺序和重平衡影响。
如果数据库已到写入上限,优先减少非关键写入、合并可批量的操作或暂时关闭次要旁路,而不是继续扩消费者。若入口生产速率已经接近或超过下游长期承载上限,则必须限流、排队或拒绝部分非关键请求,否则无论积压清掉多少都会再次增长。
用指标验收而不是看实例数
扩容生效的直接证据是 lag 的斜率由正变负,并且有效消费速率稳定提升;同时数据库延迟、错误率、连接池等待和 CPU 不能越过保护线。若实例数增加但吞吐不变,应立即回到分区、热点键或下游容量继续定位。
最终目标不是把消费者开到最多,而是让入口速率低于系统可持续处理能力,并保留足够的净消化速率,在明确的时间窗口内把积压恢复到安全水位。