大数据与流处理 / 系统课时

滚动窗口

滚动窗口

滚动窗口把时间轴切成长度固定且互不重叠的区间,每条记录只进入一个窗口。本课使用事件时间统计各店铺每 5 秒的订单金额,并通过输出结果验证边界归属、Watermark 与增量聚合行为。

学习目标

  • 判断滚动窗口适合解决哪些周期统计问题
  • 使用事件时间创建固定长度的滚动窗口
  • 根据窗口边界和输出结果验证统计是否正确

什么时候使用滚动窗口

滚动窗口适合按自然周期输出一次结果,例如每分钟请求数、每 5 分钟成交额和每小时告警量。它的窗口长度固定、相邻窗口不重叠,因此一条记录只参与一次计算,结果容易解释,状态规模也相对可控。

滚动窗口时间轴与事件归属

若窗口大小为 5 秒,边界可表示为 [0,5000)、[5000,10000)。区间采用左闭右开规则:时间戳 4999 属于第一个窗口,时间戳 5000 属于第二个窗口,不能仅凭肉眼把边界事件归入前一段。

完整 Java 示例

下面的类使用单调递增事件时间生成 Watermark,按店铺分区后创建 5 秒滚动窗口。AmountSum 只保存金额累加值,AddWindowInfo 再补充店铺和窗口边界,避免在状态中保留全部订单对象。

java
package com.example;

import org.apache.flink.api.common.eventtime.WatermarkStrategy;
import org.apache.flink.api.common.functions.AggregateFunction;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.windowing.ProcessWindowFunction;
import org.apache.flink.streaming.api.windowing.assigners.TumblingEventTimeWindows;
import org.apache.flink.streaming.api.windowing.windows.TimeWindow;
import org.apache.flink.util.Collector;

import java.time.Duration;

public class TumblingWindowDemo {

    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env =
                StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);

        // 输入按事件时间递增,便于演示单调 Watermark 策略。
        DataStream<OrderEvent> events = env.fromElements(
                new OrderEvent("A", 1_000L, 10L),
                new OrderEvent("B", 2_000L, 7L),
                new OrderEvent("A", 3_000L, 20L),
                new OrderEvent("A", 6_000L, 12L)
        ).assignTimestampsAndWatermarks(
                WatermarkStrategy.<OrderEvent>forMonotonousTimestamps()
                        .withTimestampAssigner(
                                (event, previousTimestamp) -> event.eventTime)
        );

        // 每个店铺独立维护 5 秒滚动窗口状态。
        events.keyBy(event -> event.shopId)
                .window(TumblingEventTimeWindows.of(Duration.ofSeconds(5)))
                .aggregate(new AmountSum(), new AddWindowInfo())
                .print();

        env.execute("tumbling-window-demo");
    }

    public static class OrderEvent {
        public String shopId;
        public long eventTime;
        public long amount;

        // 无参构造器便于 Flink 将该类型识别为 POJO。
        public OrderEvent() {
        }

        public OrderEvent(String shopId, long eventTime, long amount) {
            this.shopId = shopId;
            this.eventTime = eventTime;
            this.amount = amount;
        }
    }

    public static class AmountSum
            implements AggregateFunction<OrderEvent, Long, Long> {

        @Override
        public Long createAccumulator() {
            return 0L;
        }

        @Override
        public Long add(OrderEvent event, Long accumulator) {
            // 只保留累计金额,避免缓存窗口内全部订单。
            return accumulator + event.amount;
        }

        @Override
        public Long getResult(Long accumulator) {
            return accumulator;
        }

        @Override
        public Long merge(Long left, Long right) {
            return left + right;
        }
    }

    public static class AddWindowInfo
            extends ProcessWindowFunction<Long, String, String, TimeWindow> {

        @Override
        public void process(
                String shopId,
                Context context,
                Iterable<Long> sums,
                Collector<String> out) {
            long amount = sums.iterator().next();
            // 在增量结果上补充窗口边界,供下游定位统计周期。
            out.collect(String.format(
                    "shop=%s, window=[%d,%d), amount=%d",
                    shopId,
                    context.window().getStart(),
                    context.window().getEnd(),
                    amount));
        }
    }
}

预期输出如下。三行先后顺序可能因键的内部调度不同而变化,本地执行器也可能添加子任务前缀,但窗口边界与金额应一致。

text
shop=A, window=[0,5000), amount=30
shop=B, window=[0,5000), amount=7
shop=A, window=[5000,10000), amount=12

结果如何验证

店铺 A 在第一个窗口有两笔金额,合计为 30;店铺 B 在同一窗口只有一笔,结果为 7;时间戳 6000 的订单进入第二个窗口,因此输出 12。有限数据源结束时会推进最终 Watermark,使尚未关闭的时间窗口完成输出。

将 6000 改为 5000 后,结果仍应落入 [5000,10000)。若把它改为 4999,则会并入第一个窗口,使店铺 A 的第一行金额变为 42,这能直接验证左闭右开的边界规则。

生产使用边界

示例使用 forMonotonousTimestamps,前提是事件时间不会倒退。真实消息队列常有乱序,应改用允许有限乱序的 Watermark 策略,并根据业务延迟设置等待时长;等待过短会丢弃更多迟到数据,等待过长则增加结果延迟和状态保留时间。

滚动窗口默认按统一时间原点对齐。若业务日界线、时区或班次不是默认边界,应使用带偏移量的窗口配置,并在测试中覆盖边界前后一毫秒,避免统计周期整体错位。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

滚动窗口

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通