大数据与流处理 / 系统课时

选择 HOP 与 CUMULATE 窗口

选择 HOP 与 CUMULATE 窗口

HOP 和 CUMULATE 都会让同一基础时间段产生多组统计结果,但它们回答的问题不同:前者让固定长度窗口按步长滑动,后者让同一起点的窗口逐步变长。本节用同一组事件对比两种输出,再给出趋势统计与周期报表的选择方法。

学习目标

  • 区分 HOP 的滑动重叠语义与 CUMULATE 的逐步累计语义
  • 根据窗口参数推导一条事件会进入哪些窗口
  • 为滚动趋势和周期内累计报表选择合适的窗口模型

先比较两种窗口

假设步长都是 5 分钟,最大观察范围都是 10 分钟。HOP 会生成长度始终为 10 分钟、每隔 5 分钟向前移动一次的窗口;CUMULATE 则以 10 分钟为一个最大周期,在周期起点不变的情况下先输出 5 分钟累计,再输出 10 分钟累计。

HOP 与 CUMULATE 时间窗口对比

图中的关键不是窗口数量,而是起点关系:HOP 的起点持续移动,所以适合观察最近一段时间;CUMULATE 在一个最大周期内保持起点不变,所以适合观察“本周期截至当前”的累计进度。

用同一组数据观察结果

下面继续使用 Flink SQL Client 的批模式获得确定输出。四条事件总金额为 40,用同一份数据分别计算 10 分钟窗口、5 分钟滑动的 HOP,以及步长 5 分钟、最大窗口 10 分钟的 CUMULATE。

sql
SET 'execution.runtime-mode' = 'batch';

CREATE TEMPORARY VIEW WindowChoiceOrders AS
SELECT *
FROM (VALUES
  (TIMESTAMP '2026-09-11 08:01:00', CAST(10 AS BIGINT)),
  (TIMESTAMP '2026-09-11 08:04:00', CAST(20 AS BIGINT)),
  (TIMESTAMP '2026-09-11 08:06:00', CAST(7 AS BIGINT)),
  (TIMESTAMP '2026-09-11 08:09:00', CAST(3 AS BIGINT))
) AS t(order_time, amount);

SELECT
  window_start,
  window_end,
  SUM(amount) AS total_amount
FROM HOP(
  TABLE WindowChoiceOrders,
  DESCRIPTOR(order_time),
  INTERVAL '5' MINUTES,
  INTERVAL '10' MINUTES
)
GROUP BY window_start, window_end
ORDER BY window_start;

SELECT
  window_start,
  window_end,
  SUM(amount) AS total_amount
FROM CUMULATE(
  TABLE WindowChoiceOrders,
  DESCRIPTOR(order_time),
  INTERVAL '5' MINUTES,
  INTERVAL '10' MINUTES
)
GROUP BY window_start, window_end
ORDER BY window_start, window_end;

预期结果:

text
HOP
window_start         window_end           total_amount
2026-09-11 07:55:00  2026-09-11 08:05:00  30
2026-09-11 08:00:00  2026-09-11 08:10:00  40
2026-09-11 08:05:00  2026-09-11 08:15:00  10

CUMULATE
window_start         window_end           total_amount
2026-09-11 08:00:00  2026-09-11 08:05:00  30
2026-09-11 08:00:00  2026-09-11 08:10:00  40

HOP 中 08:01 和 08:04 的事件既进入 [07:55,08:05),也进入 [08:00,08:10);08:06 和 08:09 则进入 [08:00,08:10) 与 [08:05,08:15)。当窗口大小为 10 分钟、步长为 5 分钟时,一条普通事件通常会参与两个重叠窗口。

CUMULATE 的两行结果都从 08:00 开始。前 5 分钟累计为 30,扩展到 10 分钟后累计为 40;它不是把前一窗口结果再次相加,而是让事件按累计窗口语义进入对应的更大窗口。

根据统计问题选择

需要“最近 10 分钟,每 5 分钟刷新一次”这类滚动趋势时,选 HOP。窗口长度代表观察范围,步长代表刷新粒度。窗口互相重叠,因此状态和计算量通常高于同粒度的 TUMBLE,窗口越密集越需要关注资源成本。

需要“本小时截至 10 分、本小时截至 20 分、本小时截至 30 分”这类周期内累计报表时,选 CUMULATE。它的 step 决定累计增长粒度,max_size 决定完整周期,而且最大窗口必须能够按步长整齐划分。

需求 更合适的窗口 判断依据
最近 30 分钟指标,每 5 分钟更新 HOP 固定观察长度,起点持续滑动
每小时内每 10 分钟输出一次累计成交额 CUMULATE 周期起点固定,结束时间逐步后移
每 10 分钟独立统计一次 TUMBLE 不需要重叠,也不需要累计扩展

生产使用边界

在流模式下,HOP 和 CUMULATE 的时间列同样必须是事件时间或处理时间属性;如果使用事件时间,最终窗口结果仍依赖 Watermark 推进。窗口参数只定义分组关系,不能替代乱序处理策略。

选择时可以只问两个问题:观察区间的起点是否应该不断移动,以及结果是否表达“同一周期从起点累计到当前”。前者对应 HOP,后者对应 CUMULATE;如果两者都不是,就不应因为需要周期统计而默认使用这两种窗口。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

选择 HOP 与 CUMULATE 窗口

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通