大数据与流处理 / 系统课时
使用 Flink SQL Client
使用 Flink SQL Client
本课将完成一次最小可用的 Flink SQL 体验:启动本地集群与 SQL Client,使用 DataGen 连接器创建临时表,并运行一条持续输出数据的流式查询,最后能判断查询是否真正提交成功。
学习目标
- 启动本地 Flink 集群并进入 SQL Client。
- 创建仅在当前会话有效的临时表。
- 执行流式查询并根据输出判断作业状态。
启动前检查
以下命令按 Linux、macOS 或 WSL 环境编写。请准备已解压的 Flink 发行包,并确保当前 Java 版本满足该 Flink 版本的要求。<PATH> 替换为实际安装目录。
bash
java -version
cd <PATH>
./bin/start-cluster.sh
./bin/sql-client.sh预期输出
text
Starting cluster.
...
Flink SQL>启动日志会因系统和 Flink 版本不同而变化,但最终出现 Flink SQL> 提示符,说明客户端已就绪。
创建临时表并执行查询
下面的表使用内置 DataGen 连接器持续生成递增编号,并通过计算列记录处理时间。CREATE TEMPORARY TABLE 创建的表只属于当前 SQL Client 会话,退出后不会保留。
sql
SET 'execution.runtime-mode' = 'streaming';
SET 'sql-client.execution.result-mode' = 'tableau';
CREATE TEMPORARY TABLE event_source (
event_id BIGINT,
proc_time AS PROCTIME()
) WITH (
'connector' = 'datagen',
'rows-per-second' = '2',
'fields.event_id.kind' = 'sequence',
'fields.event_id.start' = '1',
'fields.event_id.end' = '100000'
);
SELECT event_id, proc_time
FROM event_source;预期结果
text
+----------+-------------------------+
| event_id | proc_time |
+----------+-------------------------+
| 1 | <TIME> |
| 2 | <TIME> |
...<TIME> 会替换为实际处理时间。查询不会自动结束,因为数据源持续产生记录;看到编号不断增加,说明 SQL 已被翻译为流式作业并提交到集群。按 Q 返回提示符;部分终端可使用 Ctrl+C 中断结果显示。
验证与典型失败
返回 SQL 提示符后查看当前会话中的表。
sql
SHOW TABLES;预期结果
text
event_source若客户端无法连接集群,先确认启动脚本已成功执行,再检查 <PATH>/log 中的 JobManager 与 TaskManager 日志。若查询没有输出,等待数秒并确认结果模式为 tableau,同时检查 Web UI 中作业是否处于 RUNNING。实验结束后应退出客户端并关闭本地集群进程,避免端口和资源长期占用。
按自己的节奏,确认真正理解。