消息队列 / 系统课时

Kafka 安全模型

Kafka 安全模型

Kafka 安全不是一个开关,而是把“从哪里接入、如何证明身份、链路是否加密、身份能做什么、行为能否追溯”拆成连续控制点。本节用 Listener 作为边界起点,建立一套可落地的内外网安全模型。

学习目标

  • 解释 Listener、认证、TLS、授权与审计各自解决的问题
  • 能按内网与外网入口规划不同的访问边界
  • 理解客户端身份如何一路传递到 ACL 与审计记录

把安全边界放在 Listener 上

Listener 决定 Broker 在哪些地址和端口接受连接,也是安全策略最自然的分界线。生产集群通常至少区分内部服务访问与外部或跨网络访问,并为每个 Listener 分配独立名称、协议和对外地址。

Kafka 安全控制从 Listener 到审计的关系

listeners 是 Broker 实际绑定的地址,advertised.listeners 是返回给客户端、供后续连接使用的地址。若外部客户端收到只能在内网解析的主机名,即使认证和 TLS 都正确,也会在元数据返回后连接失败。

分清认证、加密、授权与审计

这几个层次有严格的先后关系。TLS 可以只做服务器身份验证和链路加密,也可以通过双向 TLS 同时验证客户端;SASL 则用 SCRAM、OAuth 等机制完成身份认证。认证成功后 Kafka 得到一个 Principal,授权器再按 Principal、资源和操作判断是否允许请求。

控制点 核心问题 典型实现
Listener 从哪里进入集群 INTERNAL、EXTERNAL 等命名 Listener
加密 链路能否被窃听或篡改 SSL/TLS
认证 连接者是谁 mTLS、SASL/SCRAM、SASL/OAUTHBEARER
授权 这个身份能做什么 ACL 与 Authorizer
审计 谁在何时做了什么 认证/授权相关日志与集中日志平台

不要把“已经加密”误认为“已经授权”。一个客户端即使通过 TLS 和认证建立连接,如果没有对目标 Topic 或 Consumer Group 的权限,操作仍应被拒绝。审计同样不能替代授权,它负责留下可追踪证据,而不是实时做准入决定。

用配置表达内外网边界

下面是片段示例,只展示业务 Listener 的边界设计;实际 KRaft 集群还需要保留控制器相关 Listener 配置,并按部署方式补齐证书、SASL 和授权器参数。

properties
listeners=INTERNAL://0.0.0.0:19092,EXTERNAL://0.0.0.0:9093
advertised.listeners=INTERNAL://broker1.kafka.local:19092,EXTERNAL://kafka.example.com:9093
listener.security.protocol.map=INTERNAL:SASL_SSL,EXTERNAL:SASL_SSL
inter.broker.listener.name=INTERNAL

这组配置让内部复制和服务访问走 INTERNAL,外部客户端只拿到 EXTERNAL 地址。两个入口都使用加密认证协议,但可以继续按 Listener 分别设置 SASL 机制、证书和限流策略。外部域名还必须出现在服务器证书的 SAN 中,否则正常的主机名校验会失败。

配置完成后,可用已经包含相应认证参数的客户端配置做连通性验证:

bash
CLIENT_CONFIG="<PATH>/external-client.properties"

kafka-broker-api-versions.sh \
  --bootstrap-server kafka.example.com:9093 \
  --command-config "$CLIENT_CONFIG" >/dev/null \
  && echo "EXTERNAL listener authenticated"

预期输出:

text
EXTERNAL listener authenticated

<PATH> 的实际值取决于安装目录;命令能成功只说明网络、TLS 与认证链路可用,资源级权限还要用实际的生产者、消费者或 ACL 验证。

让身份真正落到最小权限

授权策略应从业务身份出发,而不是直接按机器或 IP 粗放放行。典型做法是为每个应用分配独立 Principal,只授予它需要的 Topic、Consumer Group 和操作权限,并把管理员身份与应用身份分离。

审计时至少要能够关联时间、客户端来源、Principal、资源、操作与允许或拒绝结果。Broker 的认证和授权相关日志需要按日志配置采集,完整的合规审计通常还要统一汇聚、集中留存和检索。这样从 Listener 到 Principal、ACL 再到审计记录,安全边界才形成闭环。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

Kafka 安全模型

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通