大数据与流处理 / 系统课时

排查 Watermark 不推进

排查 Watermark 不推进

当事件时间窗口或时态关联长时间不出结果时,先不要从下游算子猜原因。最有效的做法是沿 Source 分区、空闲输入、时间戳提取和算子传播逐段确认 Watermark 停在哪里,并用可观测 SQL 验证修复是否真的让事件时间继续前进。

学习目标

  • 识别单个分区停滞如何拖住整体 Watermark
  • 用 CURRENT_WATERMARK 区分时间戳错误、Source 停滞和传播阻塞
  • 通过空闲检测与时间戳校验恢复事件时间推进

先确认停滞发生在哪一层

Flink 的下游算子不会凭空生成更大的 Watermark。一个算子接收多个上游通道时,整体事件时间通常受最慢的活跃输入约束;只要某个仍被视为活跃的分区长期不更新,它就可能让窗口关闭、事件时间定时器和时态关联一起停住。

从 Source 分区到下游算子的 Watermark 停滞链路

排查顺序固定为:先看各 Source 分区是否持续有记录和 Watermark,再看时间戳列是否真的是事件时间,最后检查 UNION、Join 或其他多输入算子后的传播。如果运行指标中某一路 currentInput1Watermark、currentInput2Watermark 明显落后,而 currentOutputWatermark 与它一致,阻塞点就在该输入链路。

用 SQL 直接观察事件时间进度

下面是片段示例,依赖已经存在的 orders 表,并要求 order_time 是声明过 Watermark 的事件时间列。查询同时打印事件时间和当前公共 Watermark,适合在测试环境观察进度是否变化。

sql
SELECT
  order_id,
  order_time,
  CURRENT_WATERMARK(order_time) AS current_wm
FROM orders;

预期结果:

text
order_id | order_time | current_wm
<ID>     | <TIME>     | <TIME>

current_wm 应随新事件的事件时间逐步前进;刚启动、恢复期间或仍有活跃输入尚未产生 Watermark 时,它可能为 NULL。如果 order_time 持续增大而 current_wm 长期固定,继续向 Source 分区和空闲输入定位;如果 order_time 本身异常,则先修时间戳提取。

处理空闲分区拖住进度

Kafka 等分区式 Source 很容易出现“某些分区暂时没有消息”的情况。默认不启用空闲检测时,这些分区可能长期保留旧 Watermark。可以在 SQL 作业中设置全局 Source 空闲超时,让超时未收到记录的输入暂时被标记为 idle。

sql
SET 'table.exec.source.idle-timeout' = '30 s';

预期结果:

text
超过 30 秒未收到记录的 Source 输入会被暂时标记 idle;下游 Watermark 不再等待该空闲输入。

一旦该输入重新收到记录,它会恢复活跃。验证时重新运行 CURRENT_WATERMARK 查询,并确认其他活跃分区持续有数据时 Watermark 能继续前进。

校验时间戳提取和 Watermark 定义

如果所有分区都有流量却仍不推进,重点检查事件时间列。常见错误包括把秒级 epoch 当成毫秒、时区解析错误、把处理时间误当事件时间,以及 Watermark 表达式引用了错误字段。

下面的独立 DDL 使用 datagen 生成递增的毫秒 epoch,再转换为事件时间,并允许 5 秒乱序,可用于验证时间戳与 Watermark 定义本身是否正常。

sql
CREATE TABLE order_events (
  order_id BIGINT,
  event_ts BIGINT,
  order_time AS TO_TIMESTAMP_LTZ(event_ts, 3),
  WATERMARK FOR order_time AS order_time - INTERVAL '5' SECOND
) WITH (
  'connector' = 'datagen',
  'rows-per-second' = '2',
  'fields.event_ts.kind' = 'sequence',
  'fields.event_ts.start' = '1609459200000',
  'fields.event_ts.end' = '1609459260000'
);

预期结果:

text
DDL 可成功注册 order_events;查询 order_time 时事件时间递增,Watermark 按定义约落后已观察到的最大事件时间 5 秒。

真实作业中应把 datagen 换成业务 Source,并确认原始时间单位与 TO_TIMESTAMP_LTZ(..., 3) 的毫秒精度一致。

沿传播链路做最终验证

修复后不要只看“窗口终于出结果”。至少同时确认三件事:Source 的活跃分区持续产生数据;事件时间列能正确反映业务时间;下游 currentOutputWatermark 或 CURRENT_WATERMARK 稳定前进。若只在某个多输入算子之后再次停住,就对该算子的每一侧重复同样检查。

Watermark 停滞本质上是事件时间进度无法被系统证明继续向前。按“分区活跃度 → 时间戳 → Watermark 定义 → 多输入传播”的顺序排查,通常比直接修改窗口或迟到容忍参数更快找到根因。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

排查 Watermark 不推进

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通