大数据与流处理 / 系统课时
Flink 运行架构
Flink 运行架构
一个 Flink 作业从提交到真正处理数据,需要多个组件共同完成解析、调度、资源分配和任务执行。本课将沿着作业启动链路,说明 Client、JobManager、TaskManager 与 Slot 的职责,并通过本地集群观察它们的协作结果。
学习目标
- 说明 Client、JobManager、TaskManager 和 Slot 的核心职责
- 描述 Flink 作业从提交到执行的主要过程
- 理解并行度、TaskManager 与 Slot 之间的资源关系
四个核心角色
Client 是作业的提交端。它负责读取程序配置、构建作业图,并将作业提交给集群。Client 完成提交后可以退出,也可以继续等待作业结果;它通常不参与后续的数据处理。
JobManager 是集群控制面的统称,负责接收作业、生成执行计划、申请资源、调度任务、协调检查点并处理故障恢复。在不同部署模式下,其内部可能包含 Dispatcher、ResourceManager 和负责单个作业协调的 JobMaster,但初学阶段可以先把它理解为作业的统一调度中心。
TaskManager 是数据面的工作进程。真正的算子代码、数据交换和状态读写都发生在 TaskManager 中。一个集群可以运行多个 TaskManager,以便把并行任务分散到不同进程或机器上。
Slot 是 TaskManager 提供的任务执行资源单位。它主要用于划分受管理的内存等资源,并限制一个 TaskManager 可以同时承载多少组并行任务。Slot 不是独立线程,也不等同于 CPU 核心。

作业从提交到执行
开发者运行提交命令后,Client 先加载作业代码和依赖,将算子及其连接关系转换为作业图,然后把作业图发送给 JobManager。Client 在这一阶段处理的是逻辑计划,并不逐条消费业务数据。
JobManager 接收作业后,会根据算子依赖、并行度和数据交换方式生成可调度的执行图。随后它向可用的 TaskManager 申请 Slot,把各个并行子任务部署到选定的 Slot 中。
TaskManager 启动子任务后,Source 开始读取数据,转换算子执行计算,Sink 输出结果。上下游子任务可能位于同一个 TaskManager,也可能跨进程或跨机器交换数据。运行期间,TaskManager 会持续向 JobManager 发送心跳和任务状态。
如果启用了检查点,JobManager 会触发并协调检查点,各个 TaskManager 中的有状态算子保存状态快照。任务失败时,JobManager 根据恢复策略重新调度相关子任务,并从最近一次有效检查点恢复状态。
Slot 与并行度的关系
并行度表示一个算子被拆分成多少个并行子任务。例如并行度为 4 的 Source,通常会产生 4 个 Source 子任务。整个作业需要多少 Slot,不能只把所有算子的并行度简单相加,因为同一条算子链中的多个子任务可以共享一个 Slot。
默认的 Slot Sharing 允许不同算子的同一并行编号共享 Slot。例如 Source、Map 和 Sink 被链化或属于同一个共享组时,第 1 组并行子任务可以运行在同一个 Slot 中。这样既能隔离不同并行实例,又能避免每个算子单独占用资源导致浪费。
配置 Slot 时,应先确认作业的最大并行度需求、算子是否处于相同共享组,以及单个子任务的内存和 CPU 压力。Slot 数量足够并不代表资源一定充足;如果每个 Slot 分到的内存过小,任务仍可能频繁反压或发生内存不足。
用本地集群验证组件协作
下面的命令适用于已经解压 Flink 二进制发行包的环境。将 <PATH> 替换为实际安装目录,启动本地集群后列出当前作业。
cd <PATH>/flink
./bin/start-cluster.sh
./bin/flink list预期输出如下,进程名称、日志路径和提示文本可能因 Flink 版本不同而略有差异;没有提交作业时,列表应显示不存在运行中或已调度的作业。
Starting cluster.
Waiting for response...
No running jobs.
No scheduled jobs.启动脚本会创建本地 JobManager 与 TaskManager 进程。flink list 由 Client 向 JobManager 查询作业状态,因此命令能够正常返回,说明 Client 已经可以连接控制面。完成实验后可在同一目录执行 ./bin/stop-cluster.sh 释放本地进程。
常见理解误区
Client 不是集群的任务执行节点。关闭提交命令所在的终端,通常不会停止已经成功提交的独立集群作业,但附着模式或本地开发模式可能具有不同生命周期。
JobManager 也不负责承载主要的数据计算。它保存调度和协调所需的元数据,真正消耗计算资源的是 TaskManager 中运行的子任务。
Slot 不能直接理解为固定数量的线程或 CPU 核心。它是 Flink 的资源调度单位,实际线程、网络缓冲区和 CPU 使用情况还会受到算子链、并行度、部署环境和资源配置影响。