大数据与流处理 / 系统课时
定义事件时间与 Watermark
定义事件时间与 Watermark
这节课解决两个直接问题:怎样在 Flink SQL 表 DDL 中声明事件时间,以及 Watermark 如何借助乱序容忍范围推动窗口完成。学完后,你应能读懂 Watermark 定义,并判断记录是仍可接受还是已经落后于事件时间进度。
学习目标
- 在表 DDL 中声明事件时间字段与 Watermark。
- 解释乱序容忍时间与 Watermark 推进速度之间的关系。
- 根据窗口结束时间和当前 Watermark 判断结果何时能够产出。
在 DDL 中声明事件时间
事件时间来自记录自身,而不是 Flink 处理这条记录的机器时间。常见做法是保留一个 TIMESTAMP(3) 字段,并用 WATERMARK FOR ... AS ... 把它声明为事件时间属性。
下面示例假设订单从 Kafka 读取,允许事件时间最多乱序 5 秒。<HOST> 和 <PORT> 需要替换为实际 Kafka 地址,实际值可能不同。
CREATE TABLE orders (
order_id BIGINT,
amount DECIMAL(10, 2),
event_time TIMESTAMP(3),
WATERMARK FOR event_time AS event_time - INTERVAL '5' SECOND
) WITH (
'connector' = 'kafka',
'topic' = 'orders',
'properties.bootstrap.servers' = '<HOST>:<PORT>',
'properties.group.id' = 'orders-watermark-demo',
'scan.startup.mode' = 'latest-offset',
'format' = 'json'
);预期结果:
[INFO] Execute statement succeed.这条定义的关键不是“等待 5 秒”,而是用事件时间建立进度线。随着源端看到更新的 event_time,Watermark 会向前推进;5 秒表示系统愿意为较早到达的乱序记录保留多大的事件时间余量。
理解 Watermark 的推进
可以把 Watermark 理解成一句承诺:系统认为早于这条事件时间进度线的数据,大概率已经到齐。Watermark 只能向前推进,不会因为后来出现一条更旧的记录而回退。
例如先观察到 10:00:10,随后观察到 10:00:17。在 5 秒乱序容忍下,Watermark 会逐步推进到接近 10:00:12。此时 10:00:13 仍在进度线之后,而 10:00:11 已经落在进度线之前。实际发出的 Watermark 还受运行时周期性发射影响,因此监控值不一定与每条输入记录一一同步。

乱序容忍值越大,Watermark 越保守,迟到数据更不容易被判得过晚,但窗口最终结果也会更晚出现,并让状态保留更久;值越小则相反。因此它应来自业务对乱序程度和结果延迟的共同要求,而不是随意设一个“安全的大数”。
窗口何时可以完成
事件时间窗口不是看墙上时钟是否到了,而是看 Watermark 是否推进到窗口结束边界。假设有一个一分钟窗口 [10:00:00, 10:01:00):即使系统时间已经是 10:05:00,只要输入 Watermark 仍停在 10:00:40,这个窗口就还不能确认事件时间上的输入已经完整。
当 Watermark 推进到或越过 10:01:00,窗口才具备完成条件。之后再到达、且事件时间落在已结束窗口内的记录会成为迟到数据;具体是否还能被接受,取决于所用算子和查询语义,不能把 Watermark 当成“自动缓存所有迟到数据”的机制。
设定乱序范围时关注什么
优先用真实数据估算常见乱序跨度,例如采集端批量发送、网络抖动和上游缓冲造成的时间差。不要把业务处理耗时直接等同于乱序时间,因为 Watermark 关心的是事件时间相对到达顺序的偏移。
还要注意并行输入。每个上游分区都会贡献自己的 Watermark,下游通常必须受较慢输入约束。如果某个分区长时间没有数据,它可能让整体 Watermark 停住;这不是调大乱序容忍值能解决的问题,而要单独处理空闲输入。