大数据与流处理 / 系统课时
使用 TUMBLE 窗口聚合
使用 TUMBLE 窗口聚合
TUMBLE 把连续事件切成固定、互不重叠的时间段,并把窗口边界作为关系表字段暴露出来。本节用一组可复现数据完成 5 分钟聚合,重点看清事件如何落窗,以及 window_start、window_end 与聚合结果的关系。
学习目标
- 使用窗口表值函数
TUMBLE完成固定时间段聚合 - 根据
window_start与window_end判断事件所属窗口 - 理解窗口结果中的时间字段何时还能参与后续时间计算
先看窗口关系
滚动窗口只需要一个窗口大小。设窗口大小为 5 分钟,则时间轴会被切成 [08:00, 08:05)、[08:05, 08:10) 这类连续区间。左边界包含、右边界不包含,因此恰好发生在 08:05:00 的事件属于第二个窗口,而不是第一个。
| 事件时间 | 所属窗口 |
|---|---|
| 08:01:00 | [08:00, 08:05) |
| 08:04:00 | [08:00, 08:05) |
| 08:05:00 | [08:05, 08:10) |
| 08:11:00 | [08:10, 08:15) |
这种一条事件只进入一个窗口的特性,使 TUMBLE 很适合每 5 分钟订单量、每小时成交额、每天活跃用户数等互不重叠的周期统计。
用窗口表值函数聚合
为了让输出固定可核对,下面在 Flink SQL Client 中切到批模式,用有界数据验证窗口划分。流模式使用相同的窗口 TVF 语法,只是时间列必须是事件时间或处理时间属性。
SET 'execution.runtime-mode' = 'batch';
CREATE TEMPORARY VIEW TumbleOrders AS
SELECT *
FROM (VALUES
(TIMESTAMP '2026-09-11 08:01:00', CAST(10 AS BIGINT)),
(TIMESTAMP '2026-09-11 08:04:00', CAST(20 AS BIGINT)),
(TIMESTAMP '2026-09-11 08:05:00', CAST(7 AS BIGINT)),
(TIMESTAMP '2026-09-11 08:09:00', CAST(3 AS BIGINT)),
(TIMESTAMP '2026-09-11 08:11:00', CAST(5 AS BIGINT))
) AS t(order_time, amount);
SELECT
window_start,
window_end,
COUNT(*) AS order_count,
SUM(amount) AS total_amount
FROM TUMBLE(
TABLE TumbleOrders,
DESCRIPTOR(order_time),
INTERVAL '5' MINUTES
)
GROUP BY window_start, window_end
ORDER BY window_start;预期结果:
window_start window_end order_count total_amount
2026-09-11 08:00:00 2026-09-11 08:05:00 2 30
2026-09-11 08:05:00 2026-09-11 08:10:00 2 10
2026-09-11 08:10:00 2026-09-11 08:15:00 1 5SQL Client 可能按时间戳精度显示末尾 .000,这不影响窗口边界。注意第三条输入恰好位于 08:05:00,结果证明右边界采用排他语义。
理解窗口结果的关系结构
窗口表值函数不是直接返回一个标量,而是把输入关系扩展为带窗口信息的新关系。除原字段外,它会提供 window_start、window_end 和 window_time,随后再用 GROUP BY window_start, window_end 把同一窗口中的行聚合成一行结果。
window_start 与 window_end 是普通时间戳,适合展示、分组和作为业务窗口标识;它们本身不再保留时间属性。如果还要把当前窗口结果继续送入下一层窗口、Window Top-N 等基于时间的操作,应让聚合结果保留 window_time,因为它承担向后传递时间属性的职责。
放到流式表中
真实流式作业中,事件时间列通常在源表 DDL 里通过 WATERMARK FOR order_time AS ... 声明为事件时间属性。窗口何时得到最终结果由 Watermark 推进决定,而不是由 SQL Client 当前机器时间决定。
因此,使用 TUMBLE 时要分清两个问题:窗口大小决定“事件被分到哪一段”,Watermark 决定“这一段何时可以认为结束”。先用 window_start 和 window_end 验证分窗是否正确,再排查 Watermark,能避免把时间边界错误和窗口迟迟不出结果混为一谈。