大数据与流处理 / 系统课时
提取事件时间戳
提取事件时间戳
本课解决事件记录中时间单位不一致的问题。你将为数据流绑定时间戳提取器,把秒级和毫秒级值统一转换为 Flink 使用的毫秒时间戳,并通过运行结果确认每条记录的事件时间。
学习目标
- 理解事件时间戳与处理时间的区别
- 使用
WatermarkStrategy配置时间戳提取逻辑 - 安全处理秒级、毫秒级和异常时间值
时间戳在 Flink 中的作用
事件时间描述业务事件真正发生的时刻,例如订单创建时间或传感器采样时间。它通常来自记录字段,而不是算子收到数据的系统时间。窗口、定时器和迟到数据判断都会使用提取后的事件时间戳。
Flink 的时间戳分配接口统一使用毫秒。输入若是秒级 Unix 时间,必须乘以 1000;输入若已经是毫秒级,则应原样返回。最稳妥的做法是让数据协议显式携带单位,不要仅凭数字长度猜测。
定义事件时间字段
下面的事件模型同时保存原始时间值和单位。生产系统中,单位也可以由主题、表字段或接口版本固定,只要消费者能够明确判断即可。
| 输入示例 | 单位 | 提取后的毫秒值 |
|---|---|---|
1714550400 |
秒 | 1714550400000 |
1714550402000 |
毫秒 | 1714550402000 |
配置提取策略
把下面的类放入已经包含 Flink DataStream 依赖的 Java 项目中即可运行。示例允许 2 秒乱序,但本课重点是 extractTimestamp 如何规范化时间单位。
java
package com.example.flink.time;
import org.apache.flink.api.common.eventtime.SerializableTimestampAssigner;
import org.apache.flink.api.common.eventtime.WatermarkStrategy;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.ProcessFunction;
import org.apache.flink.util.Collector;
import java.time.Duration;
public class EventTimestampExample {
public static void main(String[] args) throws Exception {
StreamExecutionEnvironment env =
StreamExecutionEnvironment.getExecutionEnvironment();
env.setParallelism(1);
// 两条记录分别使用秒和毫秒。
DataStream<OrderEvent> source = env.fromElements(
new OrderEvent("A", 1714550400L, EventTimeUnit.SECONDS),
new OrderEvent("B", 1714550402000L, EventTimeUnit.MILLISECONDS)
);
WatermarkStrategy<OrderEvent> strategy =
WatermarkStrategy
.<OrderEvent>forBoundedOutOfOrderness(Duration.ofSeconds(2))
.withTimestampAssigner(
new SerializableTimestampAssigner<OrderEvent>() {
@Override
public long extractTimestamp(
OrderEvent event,
long recordTimestamp
) {
// Flink 内部的事件时间统一使用毫秒。
return event.unit == EventTimeUnit.SECONDS
? Math.multiplyExact(event.eventTime, 1000L)
: event.eventTime;
}
}
);
// 先分配时间戳和 Watermark,再读取记录上的事件时间。
source.assignTimestampsAndWatermarks(strategy)
.process(new ProcessFunction<OrderEvent, String>() {
@Override
public void processElement(
OrderEvent event,
Context context,
Collector<String> out
) {
// context.timestamp() 是写入当前记录的事件时间戳。
out.collect(
"id=" + event.id
+ ", raw=" + event.eventTime
+ ", timestamp=" + context.timestamp()
);
}
})
.print();
env.execute("event-timestamp-example");
}
public enum EventTimeUnit {
SECONDS,
MILLISECONDS
}
public static class OrderEvent {
public String id;
public long eventTime;
public EventTimeUnit unit;
public OrderEvent() {
}
public OrderEvent(
String id,
long eventTime,
EventTimeUnit unit
) {
this.id = id;
this.eventTime = eventTime;
this.unit = unit;
}
}
}预期输出(省略 Flink 启动日志)
text
id=A, raw=1714550400, timestamp=1714550400000
id=B, raw=1714550402000, timestamp=1714550402000验证与边界处理
先核对原始值、单位和提取后的时间戳,再把毫秒值转换为业务时区中的日期做抽样检查。时区只影响展示,不应在提取器中修改 Unix 时间戳本身。
Math.multiplyExact 会在秒值乘以 1000 溢出时抛出异常,避免静默产生错误时间。对外部数据还应增加合理时间范围校验,例如拒绝明显早于系统上线时间或晚于当前时间过多的记录。
若旧数据没有单位字段,不要简单用“10 位是秒、13 位是毫秒”作为永久规则。更可靠的迁移方案是按数据源固定单位,或同时尝试两种转换后使用业务允许的时间范围判定,并把无法确定的记录送入异常数据流。
按自己的节奏,确认真正理解。