大数据与流处理 / 系统课时

提取事件时间戳

提取事件时间戳

本课解决事件记录中时间单位不一致的问题。你将为数据流绑定时间戳提取器,把秒级和毫秒级值统一转换为 Flink 使用的毫秒时间戳,并通过运行结果确认每条记录的事件时间。

学习目标

  • 理解事件时间戳与处理时间的区别
  • 使用 WatermarkStrategy 配置时间戳提取逻辑
  • 安全处理秒级、毫秒级和异常时间值

时间戳在 Flink 中的作用

事件时间描述业务事件真正发生的时刻,例如订单创建时间或传感器采样时间。它通常来自记录字段,而不是算子收到数据的系统时间。窗口、定时器和迟到数据判断都会使用提取后的事件时间戳。

Flink 的时间戳分配接口统一使用毫秒。输入若是秒级 Unix 时间,必须乘以 1000;输入若已经是毫秒级,则应原样返回。最稳妥的做法是让数据协议显式携带单位,不要仅凭数字长度猜测。

定义事件时间字段

下面的事件模型同时保存原始时间值和单位。生产系统中,单位也可以由主题、表字段或接口版本固定,只要消费者能够明确判断即可。

输入示例 单位 提取后的毫秒值
1714550400 秒 1714550400000
1714550402000 毫秒 1714550402000

配置提取策略

把下面的类放入已经包含 Flink DataStream 依赖的 Java 项目中即可运行。示例允许 2 秒乱序,但本课重点是 extractTimestamp 如何规范化时间单位。

java
package com.example.flink.time;

import org.apache.flink.api.common.eventtime.SerializableTimestampAssigner;
import org.apache.flink.api.common.eventtime.WatermarkStrategy;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.ProcessFunction;
import org.apache.flink.util.Collector;

import java.time.Duration;

public class EventTimestampExample {
    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env =
            StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);

        // 两条记录分别使用秒和毫秒。
        DataStream<OrderEvent> source = env.fromElements(
            new OrderEvent("A", 1714550400L, EventTimeUnit.SECONDS),
            new OrderEvent("B", 1714550402000L, EventTimeUnit.MILLISECONDS)
        );

        WatermarkStrategy<OrderEvent> strategy =
            WatermarkStrategy
                .<OrderEvent>forBoundedOutOfOrderness(Duration.ofSeconds(2))
                .withTimestampAssigner(
                    new SerializableTimestampAssigner<OrderEvent>() {
                        @Override
                        public long extractTimestamp(
                            OrderEvent event,
                            long recordTimestamp
                        ) {
                            // Flink 内部的事件时间统一使用毫秒。
                            return event.unit == EventTimeUnit.SECONDS
                                ? Math.multiplyExact(event.eventTime, 1000L)
                                : event.eventTime;
                        }
                    }
                );

        // 先分配时间戳和 Watermark,再读取记录上的事件时间。
        source.assignTimestampsAndWatermarks(strategy)
            .process(new ProcessFunction<OrderEvent, String>() {
                @Override
                public void processElement(
                    OrderEvent event,
                    Context context,
                    Collector<String> out
                ) {
                    // context.timestamp() 是写入当前记录的事件时间戳。
                    out.collect(
                        "id=" + event.id
                            + ", raw=" + event.eventTime
                            + ", timestamp=" + context.timestamp()
                    );
                }
            })
            .print();

        env.execute("event-timestamp-example");
    }

    public enum EventTimeUnit {
        SECONDS,
        MILLISECONDS
    }

    public static class OrderEvent {
        public String id;
        public long eventTime;
        public EventTimeUnit unit;

        public OrderEvent() {
        }

        public OrderEvent(
            String id,
            long eventTime,
            EventTimeUnit unit
        ) {
            this.id = id;
            this.eventTime = eventTime;
            this.unit = unit;
        }
    }
}

预期输出(省略 Flink 启动日志)

text
id=A, raw=1714550400, timestamp=1714550400000
id=B, raw=1714550402000, timestamp=1714550402000

验证与边界处理

先核对原始值、单位和提取后的时间戳,再把毫秒值转换为业务时区中的日期做抽样检查。时区只影响展示,不应在提取器中修改 Unix 时间戳本身。

Math.multiplyExact 会在秒值乘以 1000 溢出时抛出异常,避免静默产生错误时间。对外部数据还应增加合理时间范围校验,例如拒绝明显早于系统上线时间或晚于当前时间过多的记录。

若旧数据没有单位字段,不要简单用“10 位是秒、13 位是毫秒”作为永久规则。更可靠的迁移方案是按数据源固定单位,或同时尝试两种转换后使用业务允许的时间范围判定,并把无法确定的记录送入异常数据流。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

提取事件时间戳

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通