大数据与流处理 / 系统课时

观察持续查询的结果变化

观察持续查询的结果变化

本课用一条持续输入的数据流观察过滤、表达式计算和聚合如何共同影响查询结果,并直接查看聚合结果从插入变成连续更新的过程,为理解后续 Changelog 与时态查询建立直觉。

学习目标

  • 理解流式 SQL 查询为什么会长期运行而不是一次返回后结束
  • 观察过滤、投影表达式和聚合对持续结果的影响
  • 从 +I、-U、+U 识别动态表结果的变化

持续查询维护的是不断变化的结果

批处理 SQL 通常面对一组已经存在的数据,查询完成后即可得到最终结果。流式 SQL 的输入可能一直没有结束,因此查询也会长期运行:每有新记录到达,算子就继续处理,并在必要时修改当前结果。

单纯的过滤和投影通常不会修改已经输出的旧记录。新数据满足过滤条件时,再产生一条新结果即可。但 GROUP BY 聚合不同,同一个分组收到后续数据后,原来的计数、求和等结果会被新的值替代。

持续输入驱动聚合结果演化

用可控数据观察结果演化

下面让 DataGen 每秒产生一条完全相同的记录:user_id 固定为 1,amount 固定为 10。查询先执行 amount >= 5 过滤,再计算 amount * 2,最后按用户聚合。Print 连接器会把动态表的变更以 Changelog 形式输出。

sql
SET 'parallelism.default' = '1';
SET 'table.exec.mini-batch.enabled' = 'false';

CREATE TEMPORARY TABLE events (
    user_id BIGINT,
    amount BIGINT
) WITH (
    'connector' = 'datagen',
    'rows-per-second' = '1',
    'fields.user_id.min' = '1',
    'fields.user_id.max' = '1',
    'fields.amount.min' = '10',
    'fields.amount.max' = '10'
);

CREATE TEMPORARY TABLE stats (
    user_id BIGINT,
    cnt BIGINT,
    projected_sum BIGINT
) WITH (
    'connector' = 'print'
);

INSERT INTO stats
SELECT
    user_id,
    COUNT(*) AS cnt,
    CAST(SUM(amount * 2) AS BIGINT) AS projected_sum
FROM events
WHERE amount >= 5
GROUP BY user_id;

预期输出:在关闭 mini-batch 且单并行度运行时,前几次聚合更新会呈现下面的变化;作业会继续运行,因此后续计数仍会增长。

text
+I[1, 1, 20]
-U[1, 1, 20]
+U[1, 2, 40]
-U[1, 2, 40]
+U[1, 3, 60]
...

每条输入的 amount 都是 10,所以过滤条件始终成立,表达式 amount * 2 每次贡献 20。第一条记录建立 cnt=1、projected_sum=20,随后同一分组不断收到新记录,聚合值就持续变化。

读懂插入与更新消息

+I 表示 Insert,也就是当前结果中第一次出现这一行。第一条事件到达后,用户 1 的聚合结果此前不存在,因此产生 +I[1, 1, 20]。

第二条事件到达后,同一个用户的当前结果必须从 (1, 20) 更新为 (2, 40)。Print Sink 因而可以看到 -U[1, 1, 20] 与 +U[1, 2, 40]:前者撤回更新前的值,后者给出更新后的值。第三条事件继续产生同样的更新过程。

判断查询是追加还是会改旧结果

过滤条件只决定新记录是否进入下游,普通投影只改变新记录的字段,因此这两类操作通常可以把结果看成持续追加。它们本身不需要回头修改早先已经产生的记录。

聚合、去重以及某些连接操作则需要维护状态。新数据可能改变已有结果,于是下游不能只接收新增行,还必须能够理解更新甚至删除。这也是流式 SQL 与传统一次性查询最关键的区别之一:SQL 文本看起来仍像在查表,但这张表可能随时间持续演化。

观察持续查询时,不应只问某一时刻返回了什么,还要问新数据到达后旧结果是否可能改变。这个问题一旦回答清楚,后续理解 Changelog、Upsert 以及时态关联都会更自然。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

观察持续查询的结果变化

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通