大数据与流处理 / 系统课时

使用 Flink SQL Client

使用 Flink SQL Client

本课将完成一次最小可用的 Flink SQL 体验:启动本地集群与 SQL Client,使用 DataGen 连接器创建临时表,并运行一条持续输出数据的流式查询,最后能判断查询是否真正提交成功。

学习目标

  • 启动本地 Flink 集群并进入 SQL Client。
  • 创建仅在当前会话有效的临时表。
  • 执行流式查询并根据输出判断作业状态。

启动前检查

以下命令按 Linux、macOS 或 WSL 环境编写。请准备已解压的 Flink 发行包,并确保当前 Java 版本满足该 Flink 版本的要求。<PATH> 替换为实际安装目录。

bash
java -version
cd <PATH>
./bin/start-cluster.sh
./bin/sql-client.sh

预期输出

text
Starting cluster.
...
Flink SQL>

启动日志会因系统和 Flink 版本不同而变化,但最终出现 Flink SQL> 提示符,说明客户端已就绪。

创建临时表并执行查询

下面的表使用内置 DataGen 连接器持续生成递增编号,并通过计算列记录处理时间。CREATE TEMPORARY TABLE 创建的表只属于当前 SQL Client 会话,退出后不会保留。

sql
SET 'execution.runtime-mode' = 'streaming';
SET 'sql-client.execution.result-mode' = 'tableau';

CREATE TEMPORARY TABLE event_source (
  event_id BIGINT,
  proc_time AS PROCTIME()
) WITH (
  'connector' = 'datagen',
  'rows-per-second' = '2',
  'fields.event_id.kind' = 'sequence',
  'fields.event_id.start' = '1',
  'fields.event_id.end' = '100000'
);

SELECT event_id, proc_time
FROM event_source;

预期结果

text
+----------+-------------------------+
| event_id |               proc_time |
+----------+-------------------------+
|        1 | <TIME>                  |
|        2 | <TIME>                  |
...

<TIME> 会替换为实际处理时间。查询不会自动结束,因为数据源持续产生记录;看到编号不断增加,说明 SQL 已被翻译为流式作业并提交到集群。按 Q 返回提示符;部分终端可使用 Ctrl+C 中断结果显示。

验证与典型失败

返回 SQL 提示符后查看当前会话中的表。

sql
SHOW TABLES;

预期结果

text
event_source

若客户端无法连接集群,先确认启动脚本已成功执行,再检查 <PATH>/log 中的 JobManager 与 TaskManager 日志。若查询没有输出,等待数秒并确认结果模式为 tableau,同时检查 Web UI 中作业是否处于 RUNNING。实验结束后应退出客户端并关闭本地集群进程,避免端口和资源长期占用。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

使用 Flink SQL Client

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通