消息队列 / 系统课时
客户端与用户配额
客户端与用户配额
共享 Kafka 集群中,一个异常生产者、消费者或高频请求客户端就可能挤占网络与 Broker 线程。本课用动态配额把流量约束到用户、客户端或二者组合上,并通过配置查询确认规则已经生效。
学习目标
- 区分生产、消费和请求三类客户端配额的保护对象
- 使用
kafka-configs.sh为用户、client.id和组合身份设置配额 - 理解配额匹配、节流方式以及定值时最容易踩的边界
三类配额分别限制什么
producer_byte_rate 限制生产流量,consumer_byte_rate 限制消费流量,单位都是字节/秒;这两类阈值按 Broker 执行,因此不要把单 Broker 的配额误当成整个集群的总吞吐上限。
request_percentage 限制客户端在 Broker 网络线程与请求处理线程上消耗的时间比例。它控制的是请求处理资源,而不是“整台机器 CPU 百分比”;例如大量小请求即使字节数不高,也可能先触发请求配额。
Kafka 可以按用户 principal、client.id,以及二者的组合维护覆盖项和默认项。多个连接如果落入同一个配额组,会共享该组的额度;达到阈值后 Broker 通过延迟响应等方式节流,而不是直接把正常客户端永久封禁。

给具体用户和客户端设置配额
下面假设认证后的用户 principal 是 svc-orders,应用统一设置 client.id=orders-writer。为这个精确组合设置 1 MiB/s 生产、2 MiB/s 消费和 50 的请求配额:
bin/kafka-configs.sh \
--bootstrap-server <IP>:<PORT> \
--alter \
--add-config 'producer_byte_rate=1048576,consumer_byte_rate=2097152,request_percentage=50' \
--entity-type users --entity-name svc-orders \
--entity-type clients --entity-name orders-writer预期输出:
Updated config for entity: user-principal 'svc-orders', client-id 'orders-writer'.如果希望同一用户的所有客户端共享一组限制,只保留 users 实体;如果希望按应用名治理,则只配置 clients。默认规则使用 --entity-default,适合先给所有未单独配置的租户设置安全基线,再为少量重要业务建立覆盖项。
查询配置并验证匹配对象
修改配额后不应只相信“命令执行成功”,还要读取目标实体的动态配置,确认对象、键和值都正确。
bin/kafka-configs.sh \
--bootstrap-server <IP>:<PORT> \
--describe \
--entity-type users --entity-name svc-orders \
--entity-type clients --entity-name orders-writer预期输出:
Configs for user-principal 'svc-orders', client-id 'orders-writer' are producer_byte_rate=1048576,consumer_byte_rate=2097152,request_percentage=50不同 Kafka 版本可能调整字段顺序或数值显示格式,但目标实体和三个配置键应一致。上线后再观察客户端的 throttle time、请求延迟以及 Broker 的配额相关指标;持续出现节流说明规则确实命中,也可能说明阈值低于业务正常峰值。
配额值要从共享资源预算倒推
生产和消费配额应从“单租户允许占用多少 Broker 网络带宽”倒推,并为突发流量保留余量。例如 8 MiB/s 应写成 8388608 字节/秒。若一个租户有很多实例,它们仍可能共享同一配额组,所以不能简单按“每实例峰值 × 实例数”重复发放额度。
请求配额尤其要结合请求大小与频率观察。大量小批次、频繁 metadata 请求或拉取轮询可能在带宽尚有余量时就消耗较多线程时间。先用保守阈值保护共享集群,再依据正常业务的 P95/P99 节流时间逐步调整,比直接给无限额度更容易发现异常流量。