大数据与流处理 / 系统课时

使用 TUMBLE 窗口聚合

使用 TUMBLE 窗口聚合

TUMBLE 把连续事件切成固定、互不重叠的时间段,并把窗口边界作为关系表字段暴露出来。本节用一组可复现数据完成 5 分钟聚合,重点看清事件如何落窗,以及 window_start、window_end 与聚合结果的关系。

学习目标

  • 使用窗口表值函数 TUMBLE 完成固定时间段聚合
  • 根据 window_start 与 window_end 判断事件所属窗口
  • 理解窗口结果中的时间字段何时还能参与后续时间计算

先看窗口关系

滚动窗口只需要一个窗口大小。设窗口大小为 5 分钟,则时间轴会被切成 [08:00, 08:05)、[08:05, 08:10) 这类连续区间。左边界包含、右边界不包含,因此恰好发生在 08:05:00 的事件属于第二个窗口,而不是第一个。

事件时间 所属窗口
08:01:00 [08:00, 08:05)
08:04:00 [08:00, 08:05)
08:05:00 [08:05, 08:10)
08:11:00 [08:10, 08:15)

这种一条事件只进入一个窗口的特性,使 TUMBLE 很适合每 5 分钟订单量、每小时成交额、每天活跃用户数等互不重叠的周期统计。

用窗口表值函数聚合

为了让输出固定可核对,下面在 Flink SQL Client 中切到批模式,用有界数据验证窗口划分。流模式使用相同的窗口 TVF 语法,只是时间列必须是事件时间或处理时间属性。

sql
SET 'execution.runtime-mode' = 'batch';

CREATE TEMPORARY VIEW TumbleOrders AS
SELECT *
FROM (VALUES
  (TIMESTAMP '2026-09-11 08:01:00', CAST(10 AS BIGINT)),
  (TIMESTAMP '2026-09-11 08:04:00', CAST(20 AS BIGINT)),
  (TIMESTAMP '2026-09-11 08:05:00', CAST(7 AS BIGINT)),
  (TIMESTAMP '2026-09-11 08:09:00', CAST(3 AS BIGINT)),
  (TIMESTAMP '2026-09-11 08:11:00', CAST(5 AS BIGINT))
) AS t(order_time, amount);

SELECT
  window_start,
  window_end,
  COUNT(*) AS order_count,
  SUM(amount) AS total_amount
FROM TUMBLE(
  TABLE TumbleOrders,
  DESCRIPTOR(order_time),
  INTERVAL '5' MINUTES
)
GROUP BY window_start, window_end
ORDER BY window_start;

预期结果:

text
window_start         window_end           order_count  total_amount
2026-09-11 08:00:00  2026-09-11 08:05:00  2            30
2026-09-11 08:05:00  2026-09-11 08:10:00  2            10
2026-09-11 08:10:00  2026-09-11 08:15:00  1            5

SQL Client 可能按时间戳精度显示末尾 .000,这不影响窗口边界。注意第三条输入恰好位于 08:05:00,结果证明右边界采用排他语义。

理解窗口结果的关系结构

窗口表值函数不是直接返回一个标量,而是把输入关系扩展为带窗口信息的新关系。除原字段外,它会提供 window_start、window_end 和 window_time,随后再用 GROUP BY window_start, window_end 把同一窗口中的行聚合成一行结果。

window_start 与 window_end 是普通时间戳,适合展示、分组和作为业务窗口标识;它们本身不再保留时间属性。如果还要把当前窗口结果继续送入下一层窗口、Window Top-N 等基于时间的操作,应让聚合结果保留 window_time,因为它承担向后传递时间属性的职责。

放到流式表中

真实流式作业中,事件时间列通常在源表 DDL 里通过 WATERMARK FOR order_time AS ... 声明为事件时间属性。窗口何时得到最终结果由 Watermark 推进决定,而不是由 SQL Client 当前机器时间决定。

因此,使用 TUMBLE 时要分清两个问题:窗口大小决定“事件被分到哪一段”,Watermark 决定“这一段何时可以认为结束”。先用 window_start 和 window_end 验证分窗是否正确,再排查 Watermark,能避免把时间边界错误和窗口迟迟不出结果混为一谈。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

使用 TUMBLE 窗口聚合

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通