大数据与流处理 / 系统课时

认识 Flink Web UI

认识 Flink Web UI

本课将把一个正在运行的流式作业放到 Flink Web UI 中观察,依次定位作业拓扑、算子并行度、运行状态、日志与基础指标,并用 REST 接口交叉验证页面数据。

学习目标

  • 在 Web UI 中定位作业、算子和子任务。
  • 识别常见运行状态并理解并行度的展示位置。
  • 查看日志与关键吞吐、忙碌和反压指标。

准备可观察的流式作业

先启动本地集群并进入 SQL Client。<PATH> 替换为 Flink 安装目录。

bash
cd <PATH>
./bin/start-cluster.sh
./bin/sql-client.sh

预期输出

text
Flink SQL>

在 SQL Client 中执行下面的完整语句,并保持查询运行。DataGen 会持续生成数据,因此 Web UI 中能看到一个处于运行状态的作业。

sql
SET 'execution.runtime-mode' = 'streaming';
SET 'sql-client.execution.result-mode' = 'tableau';

CREATE TEMPORARY TABLE ui_source (
  event_id BIGINT
) WITH (
  'connector' = 'datagen',
  'rows-per-second' = '5',
  'fields.event_id.kind' = 'sequence',
  'fields.event_id.start' = '1',
  'fields.event_id.end' = '1000000'
);

SELECT event_id
FROM ui_source;

预期结果

text
+----------+
| event_id |
+----------+
|        1 |
|        2 |
|        3 |
...

实际表格边框可能随版本变化,但编号应持续增加。随后在浏览器访问 http://localhost:8081;若部署在远程主机,请使用可访问的 JobManager 地址与实际端口 <PORT>。

从首页进入作业详情

首页的 Running Jobs 区域会列出当前作业。点击作业名称后,先确认顶部状态为 RUNNING,再查看中央的 JobGraph。图中的每个节点代表一个算子或算子链,节点之间的连线表示数据传递方向;点击节点可继续查看并行子任务。

Flink Web UI 作业详情页示意图

作业状态常见为 CREATED、RUNNING、FINISHED、FAILED 和 CANCELED。学习阶段重点区分 RUNNING 与 FAILED:前者表示仍在处理数据,后者需要立即查看 Exceptions 与日志。

查看并行度、日志与指标

点击 JobGraph 中的算子后,可在 SubTasks 区域查看每个子任务的状态、所在 TaskManager、开始时间和持续时长。并行度表示该算子同时运行的子任务数量;若某个子任务失败或耗时明显异常,应继续进入该子任务详情。

日志通常从顶部的 Job Manager 或 Task Managers 页面进入。JobManager 日志适合检查调度、提交和恢复问题,TaskManager 日志适合检查算子异常、序列化错误和资源不足。不同版本的标签名称可能略有差异,但排查顺序不变:先看作业 Exceptions,再看对应 TaskManager 日志。

常用指标包括 numRecordsIn、numRecordsOut、busyTimeMsPerSecond、backPressuredTimeMsPerSecond 和 idleTimeMsPerSecond。输入持续增长而输出不增长,通常说明下游处理受阻;反压时间长期接近每秒 1000 毫秒,说明下游吞吐不足,应结合各算子指标定位瓶颈。

用 REST 接口交叉验证

Web UI 的数据来自 JobManager REST API。下面的命令读取总览并只打印运行作业数、失败作业数和 Flink 版本,便于确认页面不是浏览器缓存。

bash
curl -s http://localhost:8081/overview | python3 -c 'import json,sys; d=json.load(sys.stdin); print(d["jobs-running"], d["jobs-failed"], d["flink-version"])'

预期输出

text
<RUNNING_COUNT> <FAILED_COUNT> <VERSION>

<RUNNING_COUNT>、<FAILED_COUNT> 与 <VERSION> 是动态值,应与 Web UI 首页一致。若请求失败,先确认 JobManager 进程仍在运行,并检查 8081 端口是否被修改、防火墙是否放行以及访问地址是否正确。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

认识 Flink Web UI

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通