大数据与流处理 / 系统课时
Watermark 原理
Watermark 原理
本课解决乱序数据下“何时可以计算结果”的判断问题。你将理解 Watermark 的生成、在并行数据流中的传播方式,以及它为什么会触发事件时间窗口并影响迟到数据处理。
学习目标
- 说清 Watermark 表达的时间进度含义
- 理解有界乱序策略的生成方式和传播规则
- 判断 Watermark 对窗口触发与迟到事件的影响
Watermark 解决什么问题
事件时间流可能乱序到达。算子看到时间戳为 12 秒的事件后,不能立刻断定 10 秒之前的数据已经全部到齐,因为网络或上游重试仍可能送来更早的事件。
Watermark 是一条单调不下降的时间进度声明。当前 Watermark 为 W,表示系统认为时间戳不大于 W 的事件大概率已经到达,可以推进事件时间计算。它是根据策略做出的判断,不是数据绝不会再迟到的保证。
生成机制
有界乱序策略会持续记录当前分区见过的最大事件时间 M。若允许的最大乱序程度为 B,周期生成器通常发出 M - B - 1 毫秒 的 Watermark。Flink 按自动 Watermark 周期调用生成器,而不是每条数据都必然发出一次。

容忍时间越大,正常乱序事件越不容易被判迟到,但窗口结果会更晚产生;容忍时间越小,结果更及时,但迟到事件会增加。因此 B 应来自真实延迟分布,而不是随意设置。
传播规则
每个并行源任务独立生成 Watermark。下游算子有多个输入时,其有效 Watermark 通常取所有活跃输入 Watermark 的最小值,因为任何一个较慢输入都可能继续送来更早的数据。

如果某个分区长时间没有数据,它的 Watermark 可能停滞并拖住整个下游。可使用 withIdleness 将持续空闲的输入临时标记为 idle,使其不再参与最小 Watermark 计算;该分区恢复数据后会重新参与。
对窗口和迟到数据的影响
事件时间窗口会在 Watermark 推进到窗口的最大时间戳时触发计算。对于半开区间 [0, 10 秒),窗口最大时间戳是 9.999 秒;当 Watermark 到达或超过该值,窗口可以输出结果并按配置清理状态。
Watermark 已越过窗口后才到达的事件属于迟到数据。默认处理方式取决于具体算子和窗口配置:可以直接丢弃、通过 allowedLateness 保留窗口一段时间并再次触发,或使用侧输出收集迟到事件。Watermark 本身不会自动修正已经输出的业务结果。
配置建议
片段示例:下面代码需要放在已经创建 source 数据流且 OrderEvent 提供 eventTimeMillis() 方法的 Flink 作业中。
// 允许事件最多乱序 3 秒。
WatermarkStrategy<OrderEvent> strategy =
WatermarkStrategy
.<OrderEvent>forBoundedOutOfOrderness(Duration.ofSeconds(3))
.withTimestampAssigner(
(event, previousTimestamp) -> event.eventTimeMillis()
)
// 30 秒无数据的分区暂时不阻塞下游 Watermark。
.withIdleness(Duration.ofSeconds(30));
DataStream<OrderEvent> timed =
source.assignTimestampsAndWatermarks(strategy);生效后,各源分区会按 3 秒乱序容忍度推进 Watermark;连续 30 秒无数据的分区会被标记为空闲。验证时应同时观察窗口输出延迟、迟到数据数量和各分区是否长期停滞,再调整两个时长。