消息队列 / 系统课时
多租户与配置治理
多租户与配置治理
多团队共用 Kafka 时,真正危险的不是“topic 名字不好看”,而是权限、配额和配置缺少统一边界。本课把命名、ACL、配额、Topic 默认策略和变更审批串成一套可执行治理方法,让团队自治不等于互相干扰。
学习目标
- 设计能同时服务于命名、授权和审计的租户资源边界
- 用前缀 ACL、用户配额和 Topic 配置建立最小权限与资源隔离
- 把高风险配置变更纳入可验证、可回滚的审批流程
先定义租户边界再开放权限
建议把租户、业务域和用途放进稳定前缀,例如 team-a.orders.events.v1、team-a.orders.dlq.v1,消费组使用 team-a.orders-worker。前缀不是安全机制,但它让 ACL、配额报表、资源盘点和变更审计都能围绕同一边界工作。
身份也要稳定:生产环境应用使用独立认证 principal,不要多个团队共享同一账号;client.id 用来标识具体应用或工作负载。Topic、principal、consumer group 和 client.id 四者能互相追溯时,故障定位才不会停留在“某个客户端流量很高”。

用前缀 ACL 落实最小权限
如果集群已启用授权器,可以让平台侧预先创建 Topic,再只给业务 principal 必要的读写权限。以下示例允许 User:team-a-app 写入 team-a. 前缀 Topic、读取同前缀 Topic,并使用 team-a. 前缀消费组;没有授予 Topic 创建、删除或改配置权限。
bin/kafka-acls.sh --bootstrap-server <IP>:<PORT> --add \
--allow-principal User:team-a-app \
--operation Write --operation Describe \
--topic team-a. --resource-pattern-type prefixed
bin/kafka-acls.sh --bootstrap-server <IP>:<PORT> --add \
--allow-principal User:team-a-app \
--operation Read --operation Describe \
--topic team-a. --resource-pattern-type prefixed
bin/kafka-acls.sh --bootstrap-server <IP>:<PORT> --add \
--allow-principal User:team-a-app \
--operation Read \
--group team-a. --resource-pattern-type prefixed预期结果:User:team-a-app 只能在匹配前缀的 Topic 与消费组范围内执行已授权操作;其他团队前缀不会因为命名相似而自动获得权限。可再使用 kafka-acls.sh --list 检查实际 ACL,避免把通配符或 All 权限带入生产环境。
把资源上限和 Topic 策略一起固化
ACL 解决“能不能访问”,配额解决“最多占多少共享资源”,Topic 配置解决“数据如何存、可靠性底线是什么”。下面一次建立 Team A 的用户生产配额,并创建一个符合平台基线的 Topic;示例假设集群至少有 3 个 Broker。
bin/kafka-configs.sh \
--bootstrap-server <IP>:<PORT> \
--alter \
--add-config 'producer_byte_rate=8388608,consumer_byte_rate=16777216,request_percentage=75' \
--entity-type users --entity-name team-a-app
bin/kafka-topics.sh \
--bootstrap-server <IP>:<PORT> \
--create \
--topic team-a.orders.events.v1 \
--partitions 12 \
--replication-factor 3 \
--config retention.ms=604800000 \
--config cleanup.policy=delete \
--config min.insync.replicas=2预期结果:team-a-app 获得指定用户级配额;team-a.orders.events.v1 创建为 12 分区、3 副本,保留 7 天,并要求至少 2 个同步副本满足写入可靠性条件。
Broker 默认配置是集群级基线,不会因为 Topic 前缀自动变成“租户默认值”。如果不同租户需要不同保留期、分区上限或可靠性等级,应由 Topic 创建自动化、CreateTopicPolicy/AlterConfigPolicy 或平台审批流程强制执行,而不是依赖开发者手工记忆。
让每次变更都可验证和回滚
治理的关键是把自由度放在明确边界里。普通团队可以申请新 Topic、扩容配额或调整保留期,但 ACL 通配符、缩短 retention.ms、降低 min.insync.replicas、大幅增加分区数和提高配额都应被视为高风险变更。
一个最小可执行流程是:先提交目标值和业务理由,再由自动检查验证命名、权限范围和配置上下限;审批通过后执行变更;最后重新 describe ACL、quota 与 Topic 配置,并记录操作者、时间和变更前后值。失败时按原值回滚,而不是临时在生产环境继续叠加修补。