大数据与流处理 / 系统课时

Standalone 集群部署

Standalone 集群部署

Standalone 模式直接在服务器上运行 Flink 进程,部署者需要自行配置节点、网络、存储和进程守护。本课以一台 JobManager、两台 TaskManager 为例,完成可验证的分布式 Session 集群。

学习目标

  • 配置 JobManager、TaskManager 节点与通信地址
  • 设置内存、槽位、Checkpoint 和 Savepoint 远程目录
  • 启动集群并定位节点未注册、存储不可用等常见问题

部署拓扑与前置检查

示例使用 master1 运行 JobManager,worker1、worker2 运行 TaskManager。客户端通过 REST 地址提交作业,TaskManager 通过 RPC 地址注册,所有节点共同访问远程 Checkpoint 与 Savepoint 存储。

Flink Standalone 多节点部署拓扑

三台机器必须安装兼容的 Java,使用相同 Flink 版本和相同安装路径,并能通过主机名互相解析。远程启动还要求 master1 能免密 SSH 到工作节点;若由 systemd 等工具分别启动进程,则不强制使用免密 SSH。

Standalone 只负责启动操作系统进程,不会像 YARN 或原生 Kubernetes 那样自动申请资源、替换故障节点或回收机器,因此生产环境还需要进程守护与高可用方案。:contentReference[oaicite:1]{index=1}

配置节点清单

在三台机器的 Flink 安装目录中保持相同的 conf/masters 与 conf/workers。单 JobManager 示例的文件内容如下。

text
# conf/masters
master1
text
# conf/workers
worker1
worker2

start-cluster.sh 会读取这两个文件并在对应节点启动进程。主机名必须解析到节点间可达的内网地址,不能在工作节点上把 master1 解析为 127.0.0.1。

配置通信与远程存储

当前版本使用 conf/config.yaml。以下配置在三台机器上保持一致,示例远程目录应替换为实际 HDFS 或对象存储地址,并确保相关文件系统插件与凭证已经部署。

yaml
jobmanager.rpc.address: master1
jobmanager.rpc.port: 6123
rest.address: master1
rest.port: 8081

jobmanager.memory.process.size: 1600m
taskmanager.memory.process.size: 4096m
taskmanager.numberOfTaskSlots: 2
parallelism.default: 4

state.backend.type: hashmap
execution.checkpointing.interval: 60s
execution.checkpointing.dir: hdfs://namenode:8020/flink/checkpoints
execution.checkpointing.savepoint-dir: hdfs://namenode:8020/flink/savepoints
io.tmp.dirs: /data/flink/tmp

配置生效后,TaskManager 会连接 master1:6123,客户端与浏览器访问 master1:8081。Checkpoint 和 Savepoint 写入共享存储,不能使用仅存在于某一台机器的本地目录。常用通信、内存、槽位与状态目录配置均属于 Standalone 基础配置。:contentReference[oaicite:2]{index=2}

分发并启动集群

确认三台机器目录一致后,在 master1 执行启动命令,再用 REST 接口验证 JobManager 已响应。<PATH> 与 <PORT> 表示环境相关值。

bash
cd <PATH>/flink
./bin/start-cluster.sh

curl -s -o /dev/null -w '%{http_code}\n' http://master1:<PORT>/overview

预期输出

text
Starting cluster.
Starting standalonesession daemon on host master1.
Starting taskexecutor daemon on host worker1.
Starting taskexecutor daemon on host worker2.
200

实际启动日志中的进程名称可能因版本略有变化,<PORT> 在本例应替换为 8081。随后打开 Web UI,确认 TaskManagers 数量为 2、总槽位数为 4,再提交一个并行度不高于 4 的测试作业。

典型失败处理

TaskManager 没有注册时,先在工作节点检查 jobmanager.rpc.address 的解析结果,再确认 6123 端口、防火墙和安全组允许节点间通信。三台机器配置文件不一致,是多节点部署中最常见的原因之一。

启动脚本提示 SSH 失败时,应配置 master1 到工作节点的免密登录,或改为在各节点分别执行 jobmanager.sh、taskmanager.sh 并交给 systemd 管理。不要为了省事开放任意来源的 SSH 和 REST 端口。

Checkpoint 创建失败时,检查远程 URI、文件系统插件、访问凭证和目录权限。io.tmp.dirs 只是本地临时数据目录,不能替代可恢复的远程状态存储。可用下面的命令快速收集最近错误。

bash
grep -E "ERROR|Exception|Could not connect|Permission denied" <PATH>/flink/log/*.log | tail -n 20

预期结果

text
健康集群通常没有匹配输出;若有输出,应根据主机名、端口或远程存储错误继续修复

生产加固要点

生产集群应为 JobManager 配置 ZooKeeper 高可用并部署多个候选节点,同时让 Checkpoint、Savepoint 和 HA 元数据位于可靠的共享存储。Web UI 与 REST 接口具有提交和管理作业的能力,必须限制在内网或通过认证、TLS 与访问控制保护,不能直接暴露到公网。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

Standalone 集群部署

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通