大数据与流处理 / 系统课时
排查 Watermark 不推进
排查 Watermark 不推进
当事件时间窗口或时态关联长时间不出结果时,先不要从下游算子猜原因。最有效的做法是沿 Source 分区、空闲输入、时间戳提取和算子传播逐段确认 Watermark 停在哪里,并用可观测 SQL 验证修复是否真的让事件时间继续前进。
学习目标
- 识别单个分区停滞如何拖住整体 Watermark
- 用
CURRENT_WATERMARK区分时间戳错误、Source 停滞和传播阻塞 - 通过空闲检测与时间戳校验恢复事件时间推进
先确认停滞发生在哪一层
Flink 的下游算子不会凭空生成更大的 Watermark。一个算子接收多个上游通道时,整体事件时间通常受最慢的活跃输入约束;只要某个仍被视为活跃的分区长期不更新,它就可能让窗口关闭、事件时间定时器和时态关联一起停住。

排查顺序固定为:先看各 Source 分区是否持续有记录和 Watermark,再看时间戳列是否真的是事件时间,最后检查 UNION、Join 或其他多输入算子后的传播。如果运行指标中某一路 currentInput1Watermark、currentInput2Watermark 明显落后,而 currentOutputWatermark 与它一致,阻塞点就在该输入链路。
用 SQL 直接观察事件时间进度
下面是片段示例,依赖已经存在的 orders 表,并要求 order_time 是声明过 Watermark 的事件时间列。查询同时打印事件时间和当前公共 Watermark,适合在测试环境观察进度是否变化。
SELECT
order_id,
order_time,
CURRENT_WATERMARK(order_time) AS current_wm
FROM orders;预期结果:
order_id | order_time | current_wm
<ID> | <TIME> | <TIME>current_wm 应随新事件的事件时间逐步前进;刚启动、恢复期间或仍有活跃输入尚未产生 Watermark 时,它可能为 NULL。如果 order_time 持续增大而 current_wm 长期固定,继续向 Source 分区和空闲输入定位;如果 order_time 本身异常,则先修时间戳提取。
处理空闲分区拖住进度
Kafka 等分区式 Source 很容易出现“某些分区暂时没有消息”的情况。默认不启用空闲检测时,这些分区可能长期保留旧 Watermark。可以在 SQL 作业中设置全局 Source 空闲超时,让超时未收到记录的输入暂时被标记为 idle。
SET 'table.exec.source.idle-timeout' = '30 s';预期结果:
超过 30 秒未收到记录的 Source 输入会被暂时标记 idle;下游 Watermark 不再等待该空闲输入。一旦该输入重新收到记录,它会恢复活跃。验证时重新运行 CURRENT_WATERMARK 查询,并确认其他活跃分区持续有数据时 Watermark 能继续前进。
校验时间戳提取和 Watermark 定义
如果所有分区都有流量却仍不推进,重点检查事件时间列。常见错误包括把秒级 epoch 当成毫秒、时区解析错误、把处理时间误当事件时间,以及 Watermark 表达式引用了错误字段。
下面的独立 DDL 使用 datagen 生成递增的毫秒 epoch,再转换为事件时间,并允许 5 秒乱序,可用于验证时间戳与 Watermark 定义本身是否正常。
CREATE TABLE order_events (
order_id BIGINT,
event_ts BIGINT,
order_time AS TO_TIMESTAMP_LTZ(event_ts, 3),
WATERMARK FOR order_time AS order_time - INTERVAL '5' SECOND
) WITH (
'connector' = 'datagen',
'rows-per-second' = '2',
'fields.event_ts.kind' = 'sequence',
'fields.event_ts.start' = '1609459200000',
'fields.event_ts.end' = '1609459260000'
);预期结果:
DDL 可成功注册 order_events;查询 order_time 时事件时间递增,Watermark 按定义约落后已观察到的最大事件时间 5 秒。真实作业中应把 datagen 换成业务 Source,并确认原始时间单位与 TO_TIMESTAMP_LTZ(..., 3) 的毫秒精度一致。
沿传播链路做最终验证
修复后不要只看“窗口终于出结果”。至少同时确认三件事:Source 的活跃分区持续产生数据;事件时间列能正确反映业务时间;下游 currentOutputWatermark 或 CURRENT_WATERMARK 稳定前进。若只在某个多输入算子之后再次停住,就对该算子的每一侧重复同样检查。
Watermark 停滞本质上是事件时间进度无法被系统证明继续向前。按“分区活跃度 → 时间戳 → Watermark 定义 → 多输入传播”的顺序排查,通常比直接修改窗口或迟到容忍参数更快找到根因。