大数据与流处理 / 系统课时
安装本地 Flink
安装本地 Flink
本课把 Flink 2.3.0 二进制包安装到本机,完成适合学习使用的 Standalone 配置,并启动一个 JobManager 和一个 TaskManager。最终将通过版本命令、REST 状态码和 Web UI 确认集群可以接收作业。
学习目标
- 下载、解压并验证 Flink 2.3.0 二进制发行包
- 理解本地 Standalone 集群中 JobManager、TaskManager 与 Web UI 的关系
- 完成启动、状态验证、日志定位和停止操作
认识本地 Standalone 集群
本地 Standalone 集群运行在一台开发机上。JobManager接收作业、协调调度并管理集群;TaskManager提供任务槽并执行算子;浏览器通过 REST 服务访问 Web UI。启动脚本只是一次性拉起这些进程,作业真正运行时仍由 JobManager和 TaskManager协作。

Windows 原生环境不直接提供 Bash 运行体验,建议在 WSL2、Cygwin 或 Linux 虚拟机中执行本课命令。下面以 Linux、macOS 或 WSL2 为准。
下载并解压发行包
从 Apache Flink 下载页取得 flink-2.3.0-bin-scala_2.12.tgz,保存到 <PATH>。不要下载 Source Release;源码包不包含可直接启动的完整运行目录。
mkdir -p <PATH>/flink
tar -xzf <PATH>/flink-2.3.0-bin-scala_2.12.tgz -C <PATH>/flink
cd <PATH>/flink/flink-2.3.0
./bin/flink --version预期输出:
Version: 2.3.0, Commit ID: <ID><PATH> 替换为实际目录,<ID> 是构建提交标识。若解压时报 not in gzip format,通常下载到的是网页而不是二进制包,应删除错误文件并重新从正式下载入口获取。
配置本地集群
Flink 2.x 使用 conf/config.yaml。默认配置已经能在单机启动,本课只明确本地地址、任务槽和默认并行度。把以下键合并到现有文件中;若键已存在,应修改原值,不要重复定义,也不要覆盖文件中已有的 env.java.opts.all。
jobmanager.rpc.address: localhost
rest.address: localhost
rest.bind-address: 0.0.0.0
taskmanager.numberOfTaskSlots: 2
parallelism.default: 1这段配置会让一个 TaskManager提供两个任务槽,未显式指定并行度的作业默认使用并行度 1。rest.bind-address: 0.0.0.0 便于从宿主机浏览器访问 WSL2 中的 Web UI;只在可信开发网络中使用,不要把未加保护的管理端口暴露到公网。
可先检查 YAML 文件中是否出现了重复键:
grep -nE '^(jobmanager\.rpc\.address|rest\.address|rest\.bind-address|taskmanager\.numberOfTaskSlots|parallelism\.default):' conf/config.yaml预期输出:
<LINE>:jobmanager.rpc.address: localhost
<LINE>:rest.address: localhost
<LINE>:rest.bind-address: 0.0.0.0
<LINE>:taskmanager.numberOfTaskSlots: 2
<LINE>:parallelism.default: 1每个键应只出现一次,<LINE> 是实际行号。出现两次时应删除旧项或新项,保留唯一配置。
启动并验证集群
启动脚本会在后台拉起 Standalone Session Cluster。下面把启动日志保存到临时文件,再调用 REST 概览接口,只输出 HTTP 状态码。
./bin/start-cluster.sh > /tmp/flink-start.log
curl --fail --silent --output /dev/null --write-out '%{http_code}\n' http://localhost:8081/overview预期输出:
200状态码 200 表示 REST 服务已经可访问。随后在浏览器打开 http://localhost:8081,首页应显示一个可用的 TaskManager,并能看到两个 Task Slot。实际主机名、进程 ID 和启动时间属于动态值。
还可以用命令行确认当前没有已提交的作业:
./bin/flink list预期输出:
Waiting for response...
No running jobs.
No scheduled jobs.不同终端版本的提示文字可能略有差异,核心结果是命令能连接集群,且当前作业列表为空。
处理启动失败
若 REST 状态码不是 200,先查看启动日志和 Flink 日志目录,而不是立即修改大量配置。
cat /tmp/flink-start.log
tail -n 80 log/flink-*-standalonesession-*.log
tail -n 80 log/flink-*-taskexecutor-*.log预期结果:
日志中不应出现 UnsupportedClassVersionError、Address already in use 或 TaskManager registration timeout。UnsupportedClassVersionError 通常表示实际运行 Java 与课程要求不一致;重新检查 JAVA_HOME。Address already in use 表示 8081 或 RPC 端口被占用,可停止冲突进程,或同时调整 rest.bind-port 与 rest.port。TaskManager注册超时则重点检查 jobmanager.rpc.address、主机名解析和防火墙。
若脚本没有执行权限,可以运行 chmod +x bin/*.sh 后重试;预期命令无输出且脚本获得执行权限。该命令只应在确认目录来自可信 Flink 发行包后执行。
停止本地集群
完成练习后应主动停止后台进程,避免端口和内存持续占用。
./bin/stop-cluster.sh > /tmp/flink-stop.log
if curl --fail --silent http://localhost:8081/overview > /dev/null; then
echo "REST endpoint is still running"
else
echo "REST endpoint stopped"
fi预期输出:
REST endpoint stopped停止命令刚执行完时,进程可能需要短暂退出;若仍显示运行,可等待片刻后重试检查,并查看 /tmp/flink-stop.log。