大数据与流处理 / 系统课时

窗口表值函数

窗口表值函数

本课解决如何把连续事件按时间切成可聚合的有限关系。你将使用 TUMBLE、HOP 和 CUMULATE 完成固定窗口、重叠窗口与累计窗口查询,并能根据统计口径选择正确的窗口函数。

学习目标

  • 理解三种窗口表值函数产生的数据关系
  • 编写可验证的窗口聚合 SQL
  • 根据刷新频率与统计口径选择窗口类型

窗口 TVF 的输出

窗口表值函数写在 FROM TABLE(...) 中,输入必须包含时间列。函数会保留原始字段,并增加 window_start、window_end 和 window_time;后续聚合通常按前两个字段分组。流模式应传入事件时间或处理时间属性,批模式可直接使用 TIMESTAMP 或 TIMESTAMP_LTZ 列。:contentReference[oaicite:0]{index=0}

TUMBLE、HOP 与 CUMULATE 时间窗口对比

三种函数解决的问题不同:

函数 窗口关系 典型用途
TUMBLE 固定长度、互不重叠 每 5 分钟订单量、每小时销售额
HOP 固定长度、按步长滑动,可重叠 最近 10 分钟指标,每 5 分钟刷新
CUMULATE 起点固定,结束时间按步长扩大 当日累计、小时内逐段累计

HOP 的滑动步长小于窗口长度时,一条记录会进入多个窗口。CUMULATE 的最大窗口必须是步长的整数倍,否则 SQL 校验失败。

完整 SQL 示例

下面使用有界数据和批执行模式,保证在 Flink SQL Client 中得到可重复结果。生产流任务只需把临时视图替换为带时间属性与 Watermark 的源表,窗口查询结构保持不变。

sql
SET 'execution.runtime-mode' = 'batch';

CREATE TEMPORARY VIEW orders AS
SELECT *
FROM (
    VALUES
        ('o1', CAST(10.00 AS DECIMAL(10, 2)), TIMESTAMP '2026-08-04 10:01:00'),
        ('o2', CAST(20.00 AS DECIMAL(10, 2)), TIMESTAMP '2026-08-04 10:04:00'),
        ('o3', CAST(30.00 AS DECIMAL(10, 2)), TIMESTAMP '2026-08-04 10:06:00'),
        ('o4', CAST(40.00 AS DECIMAL(10, 2)), TIMESTAMP '2026-08-04 10:11:00')
) AS T(order_id, amount, order_time);

SELECT window_start, window_end, COUNT(*) AS order_count, SUM(amount) AS total_amount
FROM TABLE(
    TUMBLE(TABLE orders, DESCRIPTOR(order_time), INTERVAL '5' MINUTES)
)
GROUP BY window_start, window_end
ORDER BY window_start;

SELECT window_start, window_end, COUNT(*) AS order_count, SUM(amount) AS total_amount
FROM TABLE(
    HOP(TABLE orders, DESCRIPTOR(order_time), INTERVAL '5' MINUTES, INTERVAL '10' MINUTES)
)
GROUP BY window_start, window_end
ORDER BY window_start;

SELECT window_start, window_end, COUNT(*) AS order_count, SUM(amount) AS total_amount
FROM TABLE(
    CUMULATE(TABLE orders, DESCRIPTOR(order_time), INTERVAL '5' MINUTES, INTERVAL '15' MINUTES)
)
GROUP BY window_start, window_end
ORDER BY window_start, window_end;

预期结果中,时间显示精度可能因 SQL Client 版本不同而带有 .000:

text
-- TUMBLE
2026-08-04 10:00:00 | 2026-08-04 10:05:00 | 2 | 30.00
2026-08-04 10:05:00 | 2026-08-04 10:10:00 | 1 | 30.00
2026-08-04 10:10:00 | 2026-08-04 10:15:00 | 1 | 40.00

-- HOP
2026-08-04 09:55:00 | 2026-08-04 10:05:00 | 2 | 30.00
2026-08-04 10:00:00 | 2026-08-04 10:10:00 | 3 | 60.00
2026-08-04 10:05:00 | 2026-08-04 10:15:00 | 2 | 70.00
2026-08-04 10:10:00 | 2026-08-04 10:20:00 | 1 | 40.00

-- CUMULATE
2026-08-04 10:00:00 | 2026-08-04 10:05:00 | 2 | 30.00
2026-08-04 10:00:00 | 2026-08-04 10:10:00 | 3 | 60.00
2026-08-04 10:00:00 | 2026-08-04 10:15:00 | 4 | 100.00

选择与边界

需要周期报表且每条记录只归属一个窗口时,使用 TUMBLE。需要“最近一段时间”并频繁刷新时,使用 HOP,但窗口重叠会放大计算量与状态占用。需要从固定起点持续累计时,使用 CUMULATE,它比手工拼接多个窗口更直接。

窗口区间通常按左闭右开理解,即时间恰好等于 window_end 的事件进入下一个窗口。流模式还要保证时间列具有正确的 Watermark;Watermark 推进过快会使迟到数据无法进入已经完成的窗口,推进过慢则会延迟结果。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

窗口表值函数

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通