大数据与流处理 / 系统课时

Watermark 原理

Watermark 原理

本课解决乱序数据下“何时可以计算结果”的判断问题。你将理解 Watermark 的生成、在并行数据流中的传播方式,以及它为什么会触发事件时间窗口并影响迟到数据处理。

学习目标

  • 说清 Watermark 表达的时间进度含义
  • 理解有界乱序策略的生成方式和传播规则
  • 判断 Watermark 对窗口触发与迟到事件的影响

Watermark 解决什么问题

事件时间流可能乱序到达。算子看到时间戳为 12 秒的事件后,不能立刻断定 10 秒之前的数据已经全部到齐,因为网络或上游重试仍可能送来更早的事件。

Watermark 是一条单调不下降的时间进度声明。当前 Watermark 为 W,表示系统认为时间戳不大于 W 的事件大概率已经到达,可以推进事件时间计算。它是根据策略做出的判断,不是数据绝不会再迟到的保证。

生成机制

有界乱序策略会持续记录当前分区见过的最大事件时间 M。若允许的最大乱序程度为 B,周期生成器通常发出 M - B - 1 毫秒 的 Watermark。Flink 按自动 Watermark 周期调用生成器,而不是每条数据都必然发出一次。

有界乱序 Watermark 时间线

容忍时间越大,正常乱序事件越不容易被判迟到,但窗口结果会更晚产生;容忍时间越小,结果更及时,但迟到事件会增加。因此 B 应来自真实延迟分布,而不是随意设置。

传播规则

每个并行源任务独立生成 Watermark。下游算子有多个输入时,其有效 Watermark 通常取所有活跃输入 Watermark 的最小值,因为任何一个较慢输入都可能继续送来更早的数据。

Watermark 在并行分区中的传播

如果某个分区长时间没有数据,它的 Watermark 可能停滞并拖住整个下游。可使用 withIdleness 将持续空闲的输入临时标记为 idle,使其不再参与最小 Watermark 计算;该分区恢复数据后会重新参与。

对窗口和迟到数据的影响

事件时间窗口会在 Watermark 推进到窗口的最大时间戳时触发计算。对于半开区间 [0, 10 秒),窗口最大时间戳是 9.999 秒;当 Watermark 到达或超过该值,窗口可以输出结果并按配置清理状态。

Watermark 已越过窗口后才到达的事件属于迟到数据。默认处理方式取决于具体算子和窗口配置:可以直接丢弃、通过 allowedLateness 保留窗口一段时间并再次触发,或使用侧输出收集迟到事件。Watermark 本身不会自动修正已经输出的业务结果。

配置建议

片段示例:下面代码需要放在已经创建 source 数据流且 OrderEvent 提供 eventTimeMillis() 方法的 Flink 作业中。

java
// 允许事件最多乱序 3 秒。
WatermarkStrategy<OrderEvent> strategy =
    WatermarkStrategy
        .<OrderEvent>forBoundedOutOfOrderness(Duration.ofSeconds(3))
        .withTimestampAssigner(
            (event, previousTimestamp) -> event.eventTimeMillis()
        )
        // 30 秒无数据的分区暂时不阻塞下游 Watermark。
        .withIdleness(Duration.ofSeconds(30));

DataStream<OrderEvent> timed =
    source.assignTimestampsAndWatermarks(strategy);

生效后,各源分区会按 3 秒乱序容忍度推进 Watermark;连续 30 秒无数据的分区会被标记为空闲。验证时应同时观察窗口输出延迟、迟到数据数量和各分区是否长期停滞,再调整两个时长。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

Watermark 原理

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通