大数据与流处理 / 系统课时

定义事件时间与 Watermark

定义事件时间与 Watermark

这节课解决两个直接问题:怎样在 Flink SQL 表 DDL 中声明事件时间,以及 Watermark 如何借助乱序容忍范围推动窗口完成。学完后,你应能读懂 Watermark 定义,并判断记录是仍可接受还是已经落后于事件时间进度。

学习目标

  • 在表 DDL 中声明事件时间字段与 Watermark。
  • 解释乱序容忍时间与 Watermark 推进速度之间的关系。
  • 根据窗口结束时间和当前 Watermark 判断结果何时能够产出。

在 DDL 中声明事件时间

事件时间来自记录自身,而不是 Flink 处理这条记录的机器时间。常见做法是保留一个 TIMESTAMP(3) 字段,并用 WATERMARK FOR ... AS ... 把它声明为事件时间属性。

下面示例假设订单从 Kafka 读取,允许事件时间最多乱序 5 秒。<HOST> 和 <PORT> 需要替换为实际 Kafka 地址,实际值可能不同。

sql
CREATE TABLE orders (
  order_id BIGINT,
  amount DECIMAL(10, 2),
  event_time TIMESTAMP(3),
  WATERMARK FOR event_time AS event_time - INTERVAL '5' SECOND
) WITH (
  'connector' = 'kafka',
  'topic' = 'orders',
  'properties.bootstrap.servers' = '<HOST>:<PORT>',
  'properties.group.id' = 'orders-watermark-demo',
  'scan.startup.mode' = 'latest-offset',
  'format' = 'json'
);

预期结果:

text
[INFO] Execute statement succeed.

这条定义的关键不是“等待 5 秒”,而是用事件时间建立进度线。随着源端看到更新的 event_time,Watermark 会向前推进;5 秒表示系统愿意为较早到达的乱序记录保留多大的事件时间余量。

理解 Watermark 的推进

可以把 Watermark 理解成一句承诺:系统认为早于这条事件时间进度线的数据,大概率已经到齐。Watermark 只能向前推进,不会因为后来出现一条更旧的记录而回退。

例如先观察到 10:00:10,随后观察到 10:00:17。在 5 秒乱序容忍下,Watermark 会逐步推进到接近 10:00:12。此时 10:00:13 仍在进度线之后,而 10:00:11 已经落在进度线之前。实际发出的 Watermark 还受运行时周期性发射影响,因此监控值不一定与每条输入记录一一同步。

事件时间、乱序记录与 Watermark 推进关系

乱序容忍值越大,Watermark 越保守,迟到数据更不容易被判得过晚,但窗口最终结果也会更晚出现,并让状态保留更久;值越小则相反。因此它应来自业务对乱序程度和结果延迟的共同要求,而不是随意设一个“安全的大数”。

窗口何时可以完成

事件时间窗口不是看墙上时钟是否到了,而是看 Watermark 是否推进到窗口结束边界。假设有一个一分钟窗口 [10:00:00, 10:01:00):即使系统时间已经是 10:05:00,只要输入 Watermark 仍停在 10:00:40,这个窗口就还不能确认事件时间上的输入已经完整。

当 Watermark 推进到或越过 10:01:00,窗口才具备完成条件。之后再到达、且事件时间落在已结束窗口内的记录会成为迟到数据;具体是否还能被接受,取决于所用算子和查询语义,不能把 Watermark 当成“自动缓存所有迟到数据”的机制。

设定乱序范围时关注什么

优先用真实数据估算常见乱序跨度,例如采集端批量发送、网络抖动和上游缓冲造成的时间差。不要把业务处理耗时直接等同于乱序时间,因为 Watermark 关心的是事件时间相对到达顺序的偏移。

还要注意并行输入。每个上游分区都会贡献自己的 Watermark,下游通常必须受较慢输入约束。如果某个分区长时间没有数据,它可能让整体 Watermark 停住;这不是调大乱序容忍值能解决的问题,而要单独处理空闲输入。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

定义事件时间与 Watermark

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通