消息队列 / 系统课时
配置 TLS 加密
配置 TLS 加密
本节完成一套可验证的 Kafka 双向 TLS:创建实验 CA,为 Broker 和客户端签发证书,转换为 Kafka 可加载的 PKCS12 密钥库与信任库,再配置 SSL Listener 并用真实 Kafka 协议验证握手结果。
学习目标
- 生成包含正确 SAN 的 Broker 证书和客户端证书
- 配置 Broker 与客户端的 PKCS12 密钥库、信任库和双向 TLS
- 能通过 Kafka 命令验证 TLS、客户端证书和协议连接是否同时成功
先确定证书关系
双向 TLS 中,Broker 与客户端都要持有“自己的私钥 + 证书”,同时都要信任签发对方证书的 CA。Broker 先向客户端证明服务器身份,客户端校验主机名和证书链;当 ssl.client.auth=required 时,Broker 还会要求客户端提交证书并验证其签发链。

服务器证书的 SAN 必须包含客户端实际连接的主机名,例如 broker1.kafka.local。不要用关闭主机名校验来掩盖证书签发错误,否则会削弱服务器身份验证。
生成 CA、Broker 与客户端证书
下面的 Bash 示例在实验目录内生成一套 CA、Broker 证书、客户端证书,以及对应的 PKCS12 文件。<PATH> 与 <PASSWORD> 需要替换为实际安全值;生产环境应把 CA 私钥离线保存,不应长期放在 Broker 上。
set -euo pipefail
TLS_DIR="<PATH>/tls"
PASS="<PASSWORD>"
mkdir -p "$TLS_DIR"
cd "$TLS_DIR"
# 实验 CA;生产环境应使用受控 CA,并离线保护 CA 私钥。
openssl req -x509 -newkey rsa:4096 -sha256 -days 3650 -nodes \
-keyout ca.key -out ca.crt \
-subj "/CN=Kafka-Lab-CA" >/dev/null 2>&1
# Broker 证书必须把客户端实际使用的 DNS 名写入 SAN。
openssl req -newkey rsa:3072 -sha256 -nodes \
-keyout broker.key -out broker.csr \
-subj "/CN=broker1.kafka.local" >/dev/null 2>&1
cat > broker.ext <<'EOF'
subjectAltName=DNS:broker1.kafka.local
extendedKeyUsage=serverAuth
EOF
openssl x509 -req -in broker.csr -CA ca.crt -CAkey ca.key \
-CAcreateserial -out broker.crt -days 825 -sha256 \
-extfile broker.ext >/dev/null 2>&1
openssl pkcs12 -export -out broker.p12 \
-inkey broker.key -in broker.crt -certfile ca.crt \
-passout "pass:$PASS" >/dev/null 2>&1
keytool -importcert -noprompt -alias kafka-ca -file ca.crt \
-keystore broker-truststore.p12 -storetype PKCS12 \
-storepass "$PASS" >/dev/null 2>&1
# 客户端证书用于 mTLS 身份验证,密钥库与信任库职责分开。
openssl req -newkey rsa:3072 -sha256 -nodes \
-keyout client.key -out client.csr \
-subj "/CN=orders-app" >/dev/null 2>&1
cat > client.ext <<'EOF'
extendedKeyUsage=clientAuth
EOF
openssl x509 -req -in client.csr -CA ca.crt -CAkey ca.key \
-CAcreateserial -out client.crt -days 825 -sha256 \
-extfile client.ext >/dev/null 2>&1
openssl pkcs12 -export -out client.p12 \
-inkey client.key -in client.crt -certfile ca.crt \
-passout "pass:$PASS" >/dev/null 2>&1
keytool -importcert -noprompt -alias kafka-ca -file ca.crt \
-keystore client-truststore.p12 -storetype PKCS12 \
-storepass "$PASS" >/dev/null 2>&1
chmod 600 *.key *.p12
echo "TLS materials created in $TLS_DIR"预期输出:
TLS materials created in <PATH>/tls生成完成后,Broker 需要 broker.p12 和 broker-truststore.p12,客户端需要 client.p12 和 client-truststore.p12。CA 私钥 ca.key 只用于签发证书,不参与日常 Kafka 连接。
配置 Broker 和客户端
下面是 Broker 数据面 SSL Listener 的片段示例。若集群同时使用 KRaft 控制器 Listener 或其他内部 Listener,应保留其原有配置,不要把整个 server.properties 机械替换为这几行。
listeners=SSL://0.0.0.0:9093
advertised.listeners=SSL://broker1.kafka.local:9093
ssl.keystore.type=PKCS12
ssl.keystore.location=<PATH>/tls/broker.p12
ssl.keystore.password=<PASSWORD>
ssl.key.password=<PASSWORD>
ssl.truststore.type=PKCS12
ssl.truststore.location=<PATH>/tls/broker-truststore.p12
ssl.truststore.password=<PASSWORD>
ssl.client.auth=requiredssl.client.auth=required 会强制客户端提供可信证书。修改后需要按你的部署方式滚动重启 Broker,并确认 advertised.listeners 中的主机名与证书 SAN 一致。
客户端配置如下:
security.protocol=SSL
ssl.keystore.type=PKCS12
ssl.keystore.location=<PATH>/tls/client.p12
ssl.keystore.password=<PASSWORD>
ssl.key.password=<PASSWORD>
ssl.truststore.type=PKCS12
ssl.truststore.location=<PATH>/tls/client-truststore.p12
ssl.truststore.password=<PASSWORD>
ssl.endpoint.identification.algorithm=https客户端会用信任库验证 Broker 证书,并用自己的密钥库响应 Broker 的客户端证书请求。ssl.endpoint.identification.algorithm=https 保持主机名校验开启,能阻止证书虽受信任但主机名不匹配的连接。
用 Kafka 协议完成验收
仅用 openssl s_client 能验证 TLS 握手,但不能证明 Kafka 协议也可用。更完整的验收方式是让 Kafka 自带命令加载客户端配置并发起协议请求:
KAFKA_HOME="<PATH>/kafka"
CLIENT_CONFIG="<PATH>/tls/client.properties"
"$KAFKA_HOME/bin/kafka-broker-api-versions.sh" \
--bootstrap-server broker1.kafka.local:9093 \
--command-config "$CLIENT_CONFIG" >/dev/null \
&& echo "mTLS Kafka connection OK"预期输出:
mTLS Kafka connection OK若命令失败,先检查证书 SAN 与连接主机名,再检查双方信任库是否含正确 CA,随后核对 PKCS12 密码与 ssl.client.auth。TLS 连接成功后仍可能因 ACL 被拒绝,这是授权层问题,不应通过放宽 TLS 校验来解决。