大数据与流处理 / 系统课时

滑动窗口

滑动窗口

本课用一个可运行的事件时间示例,完成“统计最近 10 秒、每 5 秒更新一次”的连续区间计算。你将看到窗口长度与滑动步长如何共同决定重叠范围,并能根据输出验证每条事件会进入哪些窗口。

学习目标

  • 理解窗口长度、滑动步长与窗口重叠的关系
  • 使用 SlidingEventTimeWindows 完成分组聚合
  • 根据窗口边界验证统计结果并评估状态开销

滑动窗口如何切分时间

滑动窗口由两个参数决定:窗口长度 size 表示每次统计覆盖多长时间,滑动步长 slide 表示多久创建一个新窗口。当 slide < size 时,相邻窗口重叠,一条事件可能同时属于多个窗口。

例如,窗口长度为 10 秒、步长为 5 秒时,会依次形成 [5,15)、[10,20)、[15,25) 等区间。区间采用左闭右开规则,时间戳等于结束边界的事件进入下一个窗口。

10 秒窗口按 5 秒步长滑动的重叠关系

同一条事件被复制到的窗口数量大约为 size / slide。因此步长越小,结果刷新越频繁,但窗口状态、计算次数和下游输出也会增加。

完整事件时间示例

下面按用户分组,对金额做求和。示例使用单调递增时间戳和有界集合源,源结束时会推进最终水位线,使所有窗口正常触发。

java
import org.apache.flink.api.common.eventtime.WatermarkStrategy;
import org.apache.flink.api.common.functions.AggregateFunction;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.windowing.ProcessWindowFunction;
import org.apache.flink.streaming.api.windowing.assigners.SlidingEventTimeWindows;
import org.apache.flink.streaming.api.windowing.windows.TimeWindow;
import org.apache.flink.util.Collector;

import java.time.Duration;
import java.util.Arrays;

public class SlidingWindowDemo {

    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env =
                StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);

        DataStream<OrderEvent> events = env
                .fromCollection(Arrays.asList(
                        new OrderEvent("u1", 10_000L, 10L),
                        new OrderEvent("u1", 14_000L, 20L),
                        new OrderEvent("u1", 17_000L, 30L),
                        new OrderEvent("u1", 21_000L, 40L)))
                .assignTimestampsAndWatermarks(
                        WatermarkStrategy
                                .<OrderEvent>forMonotonousTimestamps()
                                .withTimestampAssigner(
                                        (event, previousTimestamp) ->
                                                event.eventTime));

        events
                .keyBy(event -> event.userId)
                .window(SlidingEventTimeWindows.of(
                        Duration.ofSeconds(10),
                        Duration.ofSeconds(5)))
                // 先增量求和,再补充窗口边界,避免保存全部事件。
                .aggregate(new AmountSum(), new AddWindowInfo())
                .print();

        env.execute("sliding-window-demo");
    }

    public static class OrderEvent {
        public String userId;
        public long eventTime;
        public long amount;

        public OrderEvent() {
        }

        public OrderEvent(String userId, long eventTime, long amount) {
            this.userId = userId;
            this.eventTime = eventTime;
            this.amount = amount;
        }
    }

    public static class AmountSum
            implements AggregateFunction<OrderEvent, Long, Long> {

        @Override
        public Long createAccumulator() {
            return 0L;
        }

        @Override
        public Long add(OrderEvent event, Long accumulator) {
            return accumulator + event.amount;
        }

        @Override
        public Long getResult(Long accumulator) {
            return accumulator;
        }

        @Override
        public Long merge(Long left, Long right) {
            return left + right;
        }
    }

    public static class AddWindowInfo
            extends ProcessWindowFunction<Long, String, String, TimeWindow> {

        @Override
        public void process(
                String userId,
                Context context,
                Iterable<Long> totals,
                Collector<String> out) {
            long startSecond = context.window().getStart() / 1000;
            long endSecond = context.window().getEnd() / 1000;
            long total = totals.iterator().next();

            out.collect("user=" + userId
                    + ", window=[" + startSecond + "," + endSecond + ")"
                    + ", total=" + total);
        }
    }
}

预期输出如下。不同运行环境可能附带线程前缀,但窗口边界和聚合值应一致。

text
user=u1, window=[5,15), total=30
user=u1, window=[10,20), total=60
user=u1, window=[15,25), total=70
user=u1, window=[20,30), total=40

参数选择与边界

窗口长度应覆盖业务真正关心的观察周期,例如“最近 10 分钟成交额”;滑动步长决定更新频率,例如“每 1 分钟刷新”。不要只追求更实时,步长过小会让单条事件进入更多窗口。

事件时间窗口还依赖时间戳和水位线。生产流如果乱序,应使用允许乱序的 WatermarkStrategy;若水位线长期不推进,窗口不会按预期关闭。窗口结束边界不包含该时刻的事件,这一点在核对结果时尤其重要。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

滑动窗口

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通