大数据与流处理 / 系统课时
滑动窗口
滑动窗口
本课用一个可运行的事件时间示例,完成“统计最近 10 秒、每 5 秒更新一次”的连续区间计算。你将看到窗口长度与滑动步长如何共同决定重叠范围,并能根据输出验证每条事件会进入哪些窗口。
学习目标
- 理解窗口长度、滑动步长与窗口重叠的关系
- 使用
SlidingEventTimeWindows完成分组聚合 - 根据窗口边界验证统计结果并评估状态开销
滑动窗口如何切分时间
滑动窗口由两个参数决定:窗口长度 size 表示每次统计覆盖多长时间,滑动步长 slide 表示多久创建一个新窗口。当 slide < size 时,相邻窗口重叠,一条事件可能同时属于多个窗口。
例如,窗口长度为 10 秒、步长为 5 秒时,会依次形成 [5,15)、[10,20)、[15,25) 等区间。区间采用左闭右开规则,时间戳等于结束边界的事件进入下一个窗口。

同一条事件被复制到的窗口数量大约为 size / slide。因此步长越小,结果刷新越频繁,但窗口状态、计算次数和下游输出也会增加。
完整事件时间示例
下面按用户分组,对金额做求和。示例使用单调递增时间戳和有界集合源,源结束时会推进最终水位线,使所有窗口正常触发。
java
import org.apache.flink.api.common.eventtime.WatermarkStrategy;
import org.apache.flink.api.common.functions.AggregateFunction;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.windowing.ProcessWindowFunction;
import org.apache.flink.streaming.api.windowing.assigners.SlidingEventTimeWindows;
import org.apache.flink.streaming.api.windowing.windows.TimeWindow;
import org.apache.flink.util.Collector;
import java.time.Duration;
import java.util.Arrays;
public class SlidingWindowDemo {
public static void main(String[] args) throws Exception {
StreamExecutionEnvironment env =
StreamExecutionEnvironment.getExecutionEnvironment();
env.setParallelism(1);
DataStream<OrderEvent> events = env
.fromCollection(Arrays.asList(
new OrderEvent("u1", 10_000L, 10L),
new OrderEvent("u1", 14_000L, 20L),
new OrderEvent("u1", 17_000L, 30L),
new OrderEvent("u1", 21_000L, 40L)))
.assignTimestampsAndWatermarks(
WatermarkStrategy
.<OrderEvent>forMonotonousTimestamps()
.withTimestampAssigner(
(event, previousTimestamp) ->
event.eventTime));
events
.keyBy(event -> event.userId)
.window(SlidingEventTimeWindows.of(
Duration.ofSeconds(10),
Duration.ofSeconds(5)))
// 先增量求和,再补充窗口边界,避免保存全部事件。
.aggregate(new AmountSum(), new AddWindowInfo())
.print();
env.execute("sliding-window-demo");
}
public static class OrderEvent {
public String userId;
public long eventTime;
public long amount;
public OrderEvent() {
}
public OrderEvent(String userId, long eventTime, long amount) {
this.userId = userId;
this.eventTime = eventTime;
this.amount = amount;
}
}
public static class AmountSum
implements AggregateFunction<OrderEvent, Long, Long> {
@Override
public Long createAccumulator() {
return 0L;
}
@Override
public Long add(OrderEvent event, Long accumulator) {
return accumulator + event.amount;
}
@Override
public Long getResult(Long accumulator) {
return accumulator;
}
@Override
public Long merge(Long left, Long right) {
return left + right;
}
}
public static class AddWindowInfo
extends ProcessWindowFunction<Long, String, String, TimeWindow> {
@Override
public void process(
String userId,
Context context,
Iterable<Long> totals,
Collector<String> out) {
long startSecond = context.window().getStart() / 1000;
long endSecond = context.window().getEnd() / 1000;
long total = totals.iterator().next();
out.collect("user=" + userId
+ ", window=[" + startSecond + "," + endSecond + ")"
+ ", total=" + total);
}
}
}预期输出如下。不同运行环境可能附带线程前缀,但窗口边界和聚合值应一致。
text
user=u1, window=[5,15), total=30
user=u1, window=[10,20), total=60
user=u1, window=[15,25), total=70
user=u1, window=[20,30), total=40参数选择与边界
窗口长度应覆盖业务真正关心的观察周期,例如“最近 10 分钟成交额”;滑动步长决定更新频率,例如“每 1 分钟刷新”。不要只追求更实时,步长过小会让单条事件进入更多窗口。
事件时间窗口还依赖时间戳和水位线。生产流如果乱序,应使用允许乱序的 WatermarkStrategy;若水位线长期不推进,窗口不会按预期关闭。窗口结束边界不包含该时刻的事件,这一点在核对结果时尤其重要。
按自己的节奏,确认真正理解。