大数据与流处理 / 系统课时
时间属性与 Watermark
时间属性与 Watermark
本课解决 Flink SQL 如何从原始时间字段建立事件时间语义的问题。完成后,你能在建表语句中定义事件时间列、配置允许乱序的 Watermark,并判断一条数据何时可能被视为迟到。
学习目标
- 使用计算列把毫秒时间戳转换为事件时间字段
- 编写
WATERMARK FOR ... AS ...生成表达式 - 根据乱序程度选择合理的 Watermark 延迟
从物理字段得到事件时间
事件时间表示业务事件真正发生的时刻,而不是数据进入 Flink 的时刻。源数据常把时间保存为毫秒时间戳,因此可以先用计算列转换为 TIMESTAMP_LTZ(3),再把该列声明为事件时间属性。
下面的 SQL 可在包含 DataGen 连接器的 Flink SQL Client 中执行。示例生成订单编号、事件时间戳和金额,并允许事件最多乱序 5 秒。
CREATE TEMPORARY TABLE order_events (
order_id BIGINT,
event_ts BIGINT,
amount INT,
event_time AS TO_TIMESTAMP_LTZ(event_ts, 3),
WATERMARK FOR event_time AS event_time - INTERVAL '5' SECOND
) WITH (
'connector' = 'datagen',
'rows-per-second' = '2',
'fields.order_id.kind' = 'sequence',
'fields.order_id.start' = '1',
'fields.order_id.end' = '100000',
'fields.event_ts.min' = '1760000000000',
'fields.event_ts.max' = '1760003600000',
'fields.amount.min' = '1',
'fields.amount.max' = '1000'
);
DESCRIBE order_events;预期结果
event_time 显示为由 TO_TIMESTAMP_LTZ(event_ts, 3) 生成的计算列
Watermark 显示为 event_time - INTERVAL '5' SECOND不同 Flink 版本的表格边框和类型展示可能略有差异,但应同时看到计算列与 Watermark 定义。稳定版文档规定,事件时间属性通过建表 DDL 中的 Watermark 声明建立,Watermark 表达式返回时间戳并保持单调推进。:contentReference[oaicite:0]{index=0}
Watermark 如何推进
表达式 event_time - INTERVAL '5' SECOND 的含义不是“等待每条数据 5 秒”,而是用当前已观察到的最大事件时间减去 5 秒,估算后续通常不会再出现更早数据的时间边界。Watermark 只向前推进,不会因为较旧事件到达而回退。

Watermark 到达某个窗口结束时间后,Flink 才能判断该窗口按当前策略已经完整。延迟设置过小会增加迟到数据,设置过大则会让窗口更晚输出,因此它是完整性与实时性的权衡。
关键边界与常见错误
event_ts 的单位必须与转换函数一致。示例使用毫秒,所以 TO_TIMESTAMP_LTZ(event_ts, 3) 的精度参数为 3;若源字段是秒级时间戳,应先换算,不能直接套用。
Watermark 必须声明在可作为时间属性的时间戳列上。原始字段是字符串、整数或嵌套字段时,先创建计算列完成解析与转换,再对计算列定义 Watermark。
在多并行源中,下游通常受最慢分区的 Watermark 影响。某个分区长期无数据时,窗口可能迟迟不关闭,排查时应同时检查数据分布、空闲分区和源连接器的 Watermark 相关配置。
验证定义是否生效
先执行 DESCRIBE order_events 检查计算列和 Watermark,再用基于 event_time 的窗口查询观察窗口何时输出。若计划仍按处理时间运行,通常是查询没有引用事件时间列,或建表语句中的 Watermark 未成功注册。