大数据与流处理 / 系统课时
处理乱序事件
处理乱序事件
事件到达顺序与事件实际发生顺序不一致时,事件时间窗口可能过早关闭。本课使用有界乱序 Watermark,为迟到但仍在容忍范围内的数据保留等待时间,并通过可运行示例验证乱序事件仍能进入正确窗口。
学习目标
- 理解最大乱序时间与 Watermark 推进速度的关系
- 使用
forBoundedOutOfOrderness分配事件时间和 Watermark - 根据业务延迟分布选择合理的乱序上界
乱序事件如何影响窗口
Flink 按事件携带的时间戳划分事件时间窗口,而不是按数据抵达算子的先后顺序划分。假设先收到时间戳为 7 秒的事件,随后才收到 3 秒的事件,只要窗口尚未被 Watermark 关闭,3 秒事件仍会进入 [0, 10) 窗口。
有界乱序策略维护已观察到的最大事件时间,并让 Watermark 大致落后它一个固定时长。乱序上界设为 5 秒时,观察到 12 秒事件后,系统只敢确认约 7 秒之前的数据基本到齐。周期性发送间隔还会带来少量额外延迟。

配置有界乱序策略
下面的程序按 1、7、3、12 秒的到达顺序构造事件。虽然 3 秒事件晚到,它仍与 1 秒、7 秒事件一起进入第一个 10 秒窗口。
import org.apache.flink.api.common.eventtime.WatermarkStrategy;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.windowing.ProcessWindowFunction;
import org.apache.flink.streaming.api.windowing.assigners.TumblingEventTimeWindows;
import org.apache.flink.streaming.api.windowing.windows.TimeWindow;
import org.apache.flink.util.Collector;
import java.time.Duration;
public class BoundedOutOfOrderDemo {
public static void main(String[] args) throws Exception {
StreamExecutionEnvironment env =
StreamExecutionEnvironment.getExecutionEnvironment();
env.setParallelism(1);
DataStream<Event> source = env.fromElements(
new Event("A", 1_000L, 1),
new Event("A", 7_000L, 2),
new Event("A", 3_000L, 3),
new Event("A", 12_000L, 4)
);
WatermarkStrategy<Event> strategy =
WatermarkStrategy
.<Event>forBoundedOutOfOrderness(Duration.ofSeconds(5))
.withTimestampAssigner(
(event, previousTimestamp) -> event.eventTime
);
source.assignTimestampsAndWatermarks(strategy)
.keyBy(event -> event.key)
.window(TumblingEventTimeWindows.of(Duration.ofSeconds(10)))
.process(new ProcessWindowFunction<Event, String, String, TimeWindow>() {
@Override
public void process(
String key,
Context context,
Iterable<Event> events,
Collector<String> out) {
int count = 0;
int sum = 0;
for (Event event : events) {
count++;
sum += event.value;
}
out.collect(
"key=" + key
+ ", window=[" + context.window().getStart()
+ "," + context.window().getEnd()
+ "), count=" + count
+ ", sum=" + sum
);
}
})
.print();
env.execute("bounded-out-of-order-demo");
}
public static class Event {
public String key;
public long eventTime;
public int value;
public Event() {
}
public Event(String key, long eventTime, int value) {
this.key = key;
this.eventTime = eventTime;
this.value = value;
}
}
}预期输出如下。print 前缀可能随运行环境变化,但窗口范围、数量和合计值应一致。
1> key=A, window=[0,10000), count=3, sum=6
1> key=A, window=[10000,20000), count=1, sum=4有限数据源结束时会发送最终 Watermark,因此两个窗口都会输出。真正的持续流中,窗口要等 Watermark 越过窗口结束时间后才会触发。
选择乱序上界
乱序上界不是越大越安全。设置过小,网络抖动或消息堆积产生的事件可能在 Watermark 之后抵达,被窗口视为迟到数据;设置过大,则窗口输出更慢,状态保留更久,端到端延迟和资源占用都会增加。
生产环境应先统计“处理时间减事件时间”的延迟分布,再结合业务允许的结果等待时间选择上界。可从高分位延迟开始,例如覆盖绝大多数正常事件,同时为极端迟到数据配置允许迟到、侧输出或补偿流程,而不是无限增大 Watermark 延迟。
验证与常见误区
验证时不要只看数据是否到达,还要确认它进入了哪个窗口、窗口何时输出,以及算子的 currentOutputWatermark 是否持续推进。若大量事件被判定为迟到,应检查时间戳单位、时区转换、事件时间字段和乱序上界,而不是直接扩大窗口。
forBoundedOutOfOrderness 表示“延迟有可估计上限”,并不保证所有迟到事件都被接收。事件时间早于当前 Watermark 时,它已经属于迟到数据,后续处理方式由窗口的允许迟到和侧输出配置决定。