消息队列 / 系统课时

准备 Java 与 Kafka 环境

准备 Java 与 Kafka 环境

本课完成一套可验证的 Kafka 4.3 本地环境:安装 Java 21、解压 Kafka 4.3.1、识别关键目录与脚本,并以 KRaft 单节点模式启动服务、创建测试主题,确认环境能够继续用于后续集群实验。

学习目标

  • 安装并验证 Java 21 与 Kafka 4.3.1
  • 识别 Kafka 目录、常用脚本和基础运行参数
  • 初始化 KRaft 存储并完成启动验证

前置检查与版本选择

Kafka 4.3 的本地脚本要求 Java 17 或更高版本,本课固定使用 Java 21。示例采用 Kafka 4.3.1 二进制包,避免直接使用已经归档的 4.3.0。:contentReference[oaicite:0]{index=0}

以下命令以 Ubuntu 为例安装 JDK。Windows 或 macOS 可以安装任意兼容的 Java 21 发行版,但最终都必须让终端中的 java 指向 21 版本。

bash
# 安装 JDK 21,并验证终端实际使用的 Java
sudo apt update
sudo apt install -y openjdk-21-jdk curl
java -version

预期输出

text
openjdk version "21.<UPDATE>" <DATE>
OpenJDK Runtime Environment <VENDOR_BUILD>
OpenJDK 64-Bit Server VM <VENDOR_BUILD>

<UPDATE>、<DATE> 与厂商构建号会随补丁版本变化,只要主版本为 21 即可。若仍显示旧版本,应检查 JAVA_HOME、PATH 或 Linux 的 update-alternatives 设置。

下载并验证 Kafka

Kafka 二进制包名称中的 2.13 表示其 Scala 构建版本,不是 Kafka 版本。解压后先调用工具脚本查看版本,确认下载文件和 Java 环境均可用。

bash
# 下载官方二进制包,并验证 Kafka 工具版本
curl -fLO https://downloads.apache.org/kafka/4.3.1/kafka_2.13-4.3.1.tgz
tar -xzf kafka_2.13-4.3.1.tgz
cd kafka_2.13-4.3.1
bin/kafka-topics.sh --version

预期输出

text
4.3.1

部分构建会额外显示提交标识,但版本号应为 4.3.1。Windows 对应脚本位于 bin\windows,例如 bin\windows\kafka-topics.bat。

认识目录与启动脚本

路径 主要用途
bin/ Linux 与 macOS 的启动、管理和诊断脚本
bin/windows/ Windows 批处理脚本
config/ Broker、Controller、Producer、Consumer 等配置
libs/ Kafka 运行所需的 JAR 与依赖
licenses/ 第三方依赖许可证

最常用的脚本包括 kafka-storage.sh、kafka-server-start.sh、kafka-topics.sh、kafka-console-producer.sh 和 kafka-console-consumer.sh。课程后续会继续使用这些工具,因此建议始终在 Kafka 解压目录中执行命令。

初始化并启动单节点环境

KRaft 模式首次启动前必须生成集群 ID,并格式化日志目录。下面的主示例同时限制演示环境堆内存、后台启动 Kafka、创建主题并查看主题状态。

bash
# 集群 ID 只生成一次,后续重启不要重新格式化数据目录
export KAFKA_HEAP_OPTS="-Xms512m -Xmx512m"
KAFKA_CLUSTER_ID="$(bin/kafka-storage.sh random-uuid)"
bin/kafka-storage.sh format --standalone -t "$KAFKA_CLUSTER_ID" -c config/server.properties
bin/kafka-server-start.sh -daemon config/server.properties
sleep 3
# 创建主题用于验证 Broker 已能处理管理请求
bin/kafka-topics.sh --create --topic env-check --bootstrap-server localhost:9092
bin/kafka-topics.sh --describe --topic env-check --bootstrap-server localhost:9092

预期输出

text
Formatting dynamic metadata voter directory <PATH> with metadata.version <METADATA_VERSION>.
Created topic env-check.
Topic: env-check TopicId: <ID> PartitionCount: 1 ReplicationFactor: 1 Configs:
Topic: env-check Partition: 0 Leader: <ID> Replicas: <ID> Isr: <ID>

路径、主题 ID、节点 ID 和元数据版本可能不同。能看到主题描述,并且 Leader、Replicas、Isr 均有节点值,就说明 Java、KRaft 存储、Broker 监听端口和管理工具已经连通。

基础运行参数与失败处理

KAFKA_HEAP_OPTS 控制 JVM 堆大小,开发机通常从 512 MB 起步;JMX_PORT 用于开放 JMX 监控端口;KAFKA_LOG4J_OPTS 可指定日志配置。长期运行时应把数据目录从 /tmp 改到持久磁盘,并根据机器内存重新设置堆大小。

若启动时报端口占用,先检查 9092 和 Controller 监听端口;若提示目录已经格式化,不要使用忽略错误的参数反复格式化,应确认当前目录是否属于同一集群;若创建主题时连接失败,则检查 Kafka 进程、listeners 配置和本机防火墙。

本课总结

  • Kafka 4.3 可运行在 Java 21 上,安装后应分别验证 Java 与 Kafka 版本
  • KRaft 首次启动必须生成集群 ID 并格式化存储目录,普通重启不能重复执行格式化
  • 创建并描述测试主题,是验证脚本、端口、Broker 与元数据服务是否正常的最小闭环

下一课预告

下一课将拆解 KRaft 的 Controller Quorum、Broker 角色、集群 ID 与元数据日志,解释 Kafka 在没有 ZooKeeper 后如何管理整个集群。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

准备 Java 与 Kafka 环境

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通