大数据与流处理 / 系统课时
认识 Flink Web UI
认识 Flink Web UI
本课将把一个正在运行的流式作业放到 Flink Web UI 中观察,依次定位作业拓扑、算子并行度、运行状态、日志与基础指标,并用 REST 接口交叉验证页面数据。
学习目标
- 在 Web UI 中定位作业、算子和子任务。
- 识别常见运行状态并理解并行度的展示位置。
- 查看日志与关键吞吐、忙碌和反压指标。
准备可观察的流式作业
先启动本地集群并进入 SQL Client。<PATH> 替换为 Flink 安装目录。
cd <PATH>
./bin/start-cluster.sh
./bin/sql-client.sh预期输出
Flink SQL>在 SQL Client 中执行下面的完整语句,并保持查询运行。DataGen 会持续生成数据,因此 Web UI 中能看到一个处于运行状态的作业。
SET 'execution.runtime-mode' = 'streaming';
SET 'sql-client.execution.result-mode' = 'tableau';
CREATE TEMPORARY TABLE ui_source (
event_id BIGINT
) WITH (
'connector' = 'datagen',
'rows-per-second' = '5',
'fields.event_id.kind' = 'sequence',
'fields.event_id.start' = '1',
'fields.event_id.end' = '1000000'
);
SELECT event_id
FROM ui_source;预期结果
+----------+
| event_id |
+----------+
| 1 |
| 2 |
| 3 |
...实际表格边框可能随版本变化,但编号应持续增加。随后在浏览器访问 http://localhost:8081;若部署在远程主机,请使用可访问的 JobManager 地址与实际端口 <PORT>。
从首页进入作业详情
首页的 Running Jobs 区域会列出当前作业。点击作业名称后,先确认顶部状态为 RUNNING,再查看中央的 JobGraph。图中的每个节点代表一个算子或算子链,节点之间的连线表示数据传递方向;点击节点可继续查看并行子任务。

作业状态常见为 CREATED、RUNNING、FINISHED、FAILED 和 CANCELED。学习阶段重点区分 RUNNING 与 FAILED:前者表示仍在处理数据,后者需要立即查看 Exceptions 与日志。
查看并行度、日志与指标
点击 JobGraph 中的算子后,可在 SubTasks 区域查看每个子任务的状态、所在 TaskManager、开始时间和持续时长。并行度表示该算子同时运行的子任务数量;若某个子任务失败或耗时明显异常,应继续进入该子任务详情。
日志通常从顶部的 Job Manager 或 Task Managers 页面进入。JobManager 日志适合检查调度、提交和恢复问题,TaskManager 日志适合检查算子异常、序列化错误和资源不足。不同版本的标签名称可能略有差异,但排查顺序不变:先看作业 Exceptions,再看对应 TaskManager 日志。
常用指标包括 numRecordsIn、numRecordsOut、busyTimeMsPerSecond、backPressuredTimeMsPerSecond 和 idleTimeMsPerSecond。输入持续增长而输出不增长,通常说明下游处理受阻;反压时间长期接近每秒 1000 毫秒,说明下游吞吐不足,应结合各算子指标定位瓶颈。
用 REST 接口交叉验证
Web UI 的数据来自 JobManager REST API。下面的命令读取总览并只打印运行作业数、失败作业数和 Flink 版本,便于确认页面不是浏览器缓存。
curl -s http://localhost:8081/overview | python3 -c 'import json,sys; d=json.load(sys.stdin); print(d["jobs-running"], d["jobs-failed"], d["flink-version"])'预期输出
<RUNNING_COUNT> <FAILED_COUNT> <VERSION><RUNNING_COUNT>、<FAILED_COUNT> 与 <VERSION> 是动态值,应与 Web UI 首页一致。若请求失败,先确认 JobManager 进程仍在运行,并检查 8081 端口是否被修改、防火墙是否放行以及访问地址是否正确。