大数据与流处理 / 系统课时

SQL 聚合查询

SQL 聚合查询

本课解决 Flink SQL 如何对持续到达的数据计算分组指标。完成后,你能组合 GROUP BY、COUNT(DISTINCT ...) 与 FILTER,并理解为什么流式聚合会更新旧结果以及对状态和下游表的要求。

学习目标

  • 编写分组聚合并计算每组订单数
  • 使用去重聚合统计独立用户数
  • 使用条件聚合只累计满足条件的记录

聚合结果为什么会持续更新

批处理会在输入结束后给出最终结果,流处理则无法预先知道某个分组是否还会收到新数据。每到一条记录,Flink 都可能修改该分组的计数、金额或去重集合,再把变化发送给下游。

流式分组聚合的持续更新过程

Flink 官方文档把这类查询描述为持续查询:输入表发生变化时,结果表也随之更新。普通 GROUP BY 和 COUNT(DISTINCT ...) 都需要维护状态,状态规模取决于分组数量、聚合类型和去重基数。:contentReference[oaicite:1]{index=1}

主示例:一次完成三类聚合

下面先用有限数据验证 SQL 逻辑。设置批模式是为了得到稳定的最终结果;把同一查询应用到 Kafka 等无界表时,结果会随着新记录持续变化。

sql
SET 'execution.runtime-mode' = 'batch';

CREATE TEMPORARY VIEW orders AS
SELECT *
FROM (
  VALUES
    ('app', 'u1', CAST(100.00 AS DECIMAL(10, 2)), 'PAID'),
    ('app', 'u1', CAST(30.00 AS DECIMAL(10, 2)), 'CANCELLED'),
    ('app', 'u2', CAST(80.00 AS DECIMAL(10, 2)), 'PAID'),
    ('web', 'u3', CAST(50.00 AS DECIMAL(10, 2)), 'PAID')
) AS t(channel, user_id, amount, status);

SELECT
  channel,
  COUNT(*) AS order_count,
  COUNT(DISTINCT user_id) AS buyer_count,
  SUM(amount) FILTER (WHERE status = 'PAID') AS paid_amount
FROM orders
GROUP BY channel;

预期结果

text
channel | order_count | buyer_count | paid_amount
app     | 3           | 2           | 180.00
web     | 1           | 1           | 50.00

结果行顺序可能不同,但每个分组的三个指标应一致。取消的 30.00 元订单参与 COUNT(*),但不会进入 paid_amount。

三种聚合分别解决什么问题

COUNT(*) 统计分组内的全部记录,不关心字段是否为空。它适合订单数、请求数等明细行计数。

COUNT(DISTINCT user_id) 会先对用户编号去重,再计算数量。同一用户在 app 渠道下有两笔订单,因此买家数仍为 1,直到 u2 到达后才变为 2。

SUM(amount) FILTER (WHERE status = 'PAID') 只把已支付订单的金额交给 SUM。与把条件写在全局 WHERE 中不同,FILTER 只影响这一项聚合,其他指标仍可统计全部记录。

流式运行时的状态与下游要求

无窗口分组会长期保留每个分组的聚合状态,去重聚合还要记住已经出现过的键。分组数或独立用户数持续增长时,状态也会增长,应结合业务有效期评估状态 TTL;过早清理状态可能使后续结果失真。

由于旧分组会被修改,下游必须能接受更新语义。数据库主键表、Upsert Kafka 等可按主键覆盖结果;只接受追加写入的文件类下游通常不适合直接承接无窗口分组聚合。需要只追加结果时,可改用事件时间窗口,让窗口关闭后输出相对稳定的结果。

验收与排错

先用有限 VALUES 数据核对每个指标,再替换为真实源表。若买家数异常增大,检查去重键是否包含空格、大小写差异或复合业务维度;若金额不正确,检查状态枚举、金额类型和条件是否放在正确的聚合函数上。

如果 SQL Client 持续输出同一分组的更新,这是流式聚合的正常行为,不应误判为重复数据。真正需要确认的是更新后的最终值是否正确,以及下游是否按主键或变更日志语义消费。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

SQL 聚合查询

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通