大数据与流处理 / 系统课时
选择 HOP 与 CUMULATE 窗口
选择 HOP 与 CUMULATE 窗口
HOP 和 CUMULATE 都会让同一基础时间段产生多组统计结果,但它们回答的问题不同:前者让固定长度窗口按步长滑动,后者让同一起点的窗口逐步变长。本节用同一组事件对比两种输出,再给出趋势统计与周期报表的选择方法。
学习目标
- 区分
HOP的滑动重叠语义与CUMULATE的逐步累计语义 - 根据窗口参数推导一条事件会进入哪些窗口
- 为滚动趋势和周期内累计报表选择合适的窗口模型
先比较两种窗口
假设步长都是 5 分钟,最大观察范围都是 10 分钟。HOP 会生成长度始终为 10 分钟、每隔 5 分钟向前移动一次的窗口;CUMULATE 则以 10 分钟为一个最大周期,在周期起点不变的情况下先输出 5 分钟累计,再输出 10 分钟累计。

图中的关键不是窗口数量,而是起点关系:HOP 的起点持续移动,所以适合观察最近一段时间;CUMULATE 在一个最大周期内保持起点不变,所以适合观察“本周期截至当前”的累计进度。
用同一组数据观察结果
下面继续使用 Flink SQL Client 的批模式获得确定输出。四条事件总金额为 40,用同一份数据分别计算 10 分钟窗口、5 分钟滑动的 HOP,以及步长 5 分钟、最大窗口 10 分钟的 CUMULATE。
SET 'execution.runtime-mode' = 'batch';
CREATE TEMPORARY VIEW WindowChoiceOrders AS
SELECT *
FROM (VALUES
(TIMESTAMP '2026-09-11 08:01:00', CAST(10 AS BIGINT)),
(TIMESTAMP '2026-09-11 08:04:00', CAST(20 AS BIGINT)),
(TIMESTAMP '2026-09-11 08:06:00', CAST(7 AS BIGINT)),
(TIMESTAMP '2026-09-11 08:09:00', CAST(3 AS BIGINT))
) AS t(order_time, amount);
SELECT
window_start,
window_end,
SUM(amount) AS total_amount
FROM HOP(
TABLE WindowChoiceOrders,
DESCRIPTOR(order_time),
INTERVAL '5' MINUTES,
INTERVAL '10' MINUTES
)
GROUP BY window_start, window_end
ORDER BY window_start;
SELECT
window_start,
window_end,
SUM(amount) AS total_amount
FROM CUMULATE(
TABLE WindowChoiceOrders,
DESCRIPTOR(order_time),
INTERVAL '5' MINUTES,
INTERVAL '10' MINUTES
)
GROUP BY window_start, window_end
ORDER BY window_start, window_end;预期结果:
HOP
window_start window_end total_amount
2026-09-11 07:55:00 2026-09-11 08:05:00 30
2026-09-11 08:00:00 2026-09-11 08:10:00 40
2026-09-11 08:05:00 2026-09-11 08:15:00 10
CUMULATE
window_start window_end total_amount
2026-09-11 08:00:00 2026-09-11 08:05:00 30
2026-09-11 08:00:00 2026-09-11 08:10:00 40HOP 中 08:01 和 08:04 的事件既进入 [07:55,08:05),也进入 [08:00,08:10);08:06 和 08:09 则进入 [08:00,08:10) 与 [08:05,08:15)。当窗口大小为 10 分钟、步长为 5 分钟时,一条普通事件通常会参与两个重叠窗口。
CUMULATE 的两行结果都从 08:00 开始。前 5 分钟累计为 30,扩展到 10 分钟后累计为 40;它不是把前一窗口结果再次相加,而是让事件按累计窗口语义进入对应的更大窗口。
根据统计问题选择
需要“最近 10 分钟,每 5 分钟刷新一次”这类滚动趋势时,选 HOP。窗口长度代表观察范围,步长代表刷新粒度。窗口互相重叠,因此状态和计算量通常高于同粒度的 TUMBLE,窗口越密集越需要关注资源成本。
需要“本小时截至 10 分、本小时截至 20 分、本小时截至 30 分”这类周期内累计报表时,选 CUMULATE。它的 step 决定累计增长粒度,max_size 决定完整周期,而且最大窗口必须能够按步长整齐划分。
| 需求 | 更合适的窗口 | 判断依据 |
|---|---|---|
| 最近 30 分钟指标,每 5 分钟更新 | HOP | 固定观察长度,起点持续滑动 |
| 每小时内每 10 分钟输出一次累计成交额 | CUMULATE | 周期起点固定,结束时间逐步后移 |
| 每 10 分钟独立统计一次 | TUMBLE | 不需要重叠,也不需要累计扩展 |
生产使用边界
在流模式下,HOP 和 CUMULATE 的时间列同样必须是事件时间或处理时间属性;如果使用事件时间,最终窗口结果仍依赖 Watermark 推进。窗口参数只定义分组关系,不能替代乱序处理策略。
选择时可以只问两个问题:观察区间的起点是否应该不断移动,以及结果是否表达“同一周期从起点累计到当前”。前者对应 HOP,后者对应 CUMULATE;如果两者都不是,就不应因为需要周期统计而默认使用这两种窗口。