大数据与流处理 / 系统课时

窗口计算模型

窗口计算模型

窗口计算把无界数据流切成可计算的有限范围。本课从记录进入算子开始,串起窗口分配、状态保存、触发计算、结果输出和状态清理,帮助你建立后续编写滚动、滑动与会话窗口代码所需的统一模型。

学习目标

  • 说明窗口分配器、触发器和窗口函数各自负责什么
  • 区分触发计算、清空内容与删除窗口状态
  • 根据时间语义和迟到数据要求设计窗口链路

为什么无界流需要窗口

持续到来的数据没有天然终点,直接执行“总计”通常只能得到不断变化的中间值。窗口通过时间、数量或会话间隔划定有限数据集合,使聚合、排序和统计拥有明确的计算范围与输出时机。

窗口本身不是数据副本,而是“键与窗口标识”对应的一组状态。使用 keyBy 后,每个业务键分别维护窗口;不分键的 windowAll 会把同一窗口的数据集中处理,通常不利于并行扩展。

一条记录如何经过窗口

记录先按业务键分区,再由窗口分配器判断它属于哪个窗口。算子把记录写入该键、该窗口的状态;触发器满足条件时调用窗口函数,函数读取增量聚合值或窗口元素并输出结果。时间窗口最终还会在清理时点删除状态。

窗口记录从分配到清理的处理链路

可以把完整链路记成:分区 → 分配 → 保存 → 触发 → 计算 → 输出 → 清理。其中分配器决定“算哪一组数据”,触发器决定“何时计算”,窗口函数决定“怎么算以及输出什么”。

触发不等于清理

触发器发出 FIRE 时,窗口函数会执行,但窗口内容不一定被删除,因此允许迟到数据到达后再次触发并更新结果。只有触发结果包含清除语义,或系统到达窗口清理时间,相关状态才会释放。

这一区别直接影响结果语义。下游若收到同一窗口的多次结果,应使用可更新的表、带主键的 Upsert Sink,或自行定义去重规则;把每次触发都当成独立新增记录,可能造成重复统计。

时间语义与迟到数据

处理时间窗口依据算子机器的当前时间,配置简单,但结果会受网络抖动和积压影响。事件时间窗口依据记录中的业务时间,并通过 Watermark 判断事件时间推进程度,更适合订单、日志等需要按真实发生时间统计的场景。

事件时间到达窗口结束位置后通常触发计算。设置允许迟到时间后,窗口状态会继续保留一段时间,迟到记录可能更新已输出结果;超过保留范围的记录会被丢弃,或在配置侧输出后进入补偿链路。

选择窗口函数

计算方式 状态特点 适用场景
reduce 每来一条立即合并,状态小 同类型求和、最大值
aggregate 自定义累加器,可输出不同类型 平均值、复合指标
process 可访问窗口边界和上下文,单独使用时需保留全部元素 需要窗口元数据或全量遍历

生产中常用“增量聚合函数 + ProcessWindowFunction”组合:前者压缩状态,后者补充窗口起止时间等元数据。只有确实需要逐条查看窗口内全部元素时,才单独使用全量处理函数。

建模检查

设计窗口任务时依次确认业务键、窗口范围、时间语义、触发条件、迟到处理和下游更新能力。任何一项不明确,都可能出现跨用户混算、窗口不触发、结果重复或状态长期不释放。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

窗口计算模型

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通