大数据与流处理 / 系统课时

会话窗口

会话窗口

本课通过用户点击流识别连续访问会话:相邻事件间隔小于 5 秒时合并,超过间隔则开启新会话。你还将掌握固定间隔与动态间隔的选择方式,并用窗口起止时间验证合并结果。

学习目标

  • 理解会话窗口按空闲间隔合并事件的机制
  • 使用固定会话间隔统计每次用户访问
  • 知道何时改用动态会话间隔及其风险

会话窗口的判定机制

会话窗口没有预先固定的起止边界。对同一个键,Flink 会为到达的事件形成候选窗口;只要候选窗口之间的时间范围发生重叠,就会继续合并。连续空闲时间达到设定的 gap 后,后续事件将进入新的会话。

固定会话间隔下的窗口合并过程

会话窗口必须先 keyBy,因为不同用户或设备的活动不能相互合并。事件时间会话窗口还需要水位线推进,窗口通常在水位线越过会话结束时间后触发计算。

固定间隔完整示例

示例把 1、3、7 秒的三次点击合并为第一次会话,把 15、17 秒的两次点击合并为第二次会话。窗口结束时间等于最后一个事件时间加上 5 秒间隔。

java
import org.apache.flink.api.common.eventtime.WatermarkStrategy;
import org.apache.flink.api.common.functions.AggregateFunction;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.windowing.ProcessWindowFunction;
import org.apache.flink.streaming.api.windowing.assigners.EventTimeSessionWindows;
import org.apache.flink.streaming.api.windowing.windows.TimeWindow;
import org.apache.flink.util.Collector;

import java.time.Duration;
import java.util.Arrays;

public class SessionWindowDemo {

    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env =
                StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);

        DataStream<ClickEvent> events = env
                .fromCollection(Arrays.asList(
                        new ClickEvent("u1", 1_000L),
                        new ClickEvent("u1", 3_000L),
                        new ClickEvent("u1", 7_000L),
                        new ClickEvent("u1", 15_000L),
                        new ClickEvent("u1", 17_000L)))
                .assignTimestampsAndWatermarks(
                        WatermarkStrategy
                                .<ClickEvent>forMonotonousTimestamps()
                                .withTimestampAssigner(
                                        (event, previousTimestamp) ->
                                                event.eventTime));

        events
                .keyBy(event -> event.userId)
                .window(EventTimeSessionWindows.withGap(
                        Duration.ofSeconds(5)))
                // 聚合器只保留计数,窗口函数负责输出会话边界。
                .aggregate(new ClickCount(), new AddSessionInfo())
                .print();

        env.execute("session-window-demo");
    }

    public static class ClickEvent {
        public String userId;
        public long eventTime;

        public ClickEvent() {
        }

        public ClickEvent(String userId, long eventTime) {
            this.userId = userId;
            this.eventTime = eventTime;
        }
    }

    public static class ClickCount
            implements AggregateFunction<ClickEvent, Long, Long> {

        @Override
        public Long createAccumulator() {
            return 0L;
        }

        @Override
        public Long add(ClickEvent event, Long accumulator) {
            return accumulator + 1;
        }

        @Override
        public Long getResult(Long accumulator) {
            return accumulator;
        }

        @Override
        public Long merge(Long left, Long right) {
            return left + right;
        }
    }

    public static class AddSessionInfo
            extends ProcessWindowFunction<Long, String, String, TimeWindow> {

        @Override
        public void process(
                String userId,
                Context context,
                Iterable<Long> counts,
                Collector<String> out) {
            long startSecond = context.window().getStart() / 1000;
            long endSecond = context.window().getEnd() / 1000;
            long count = counts.iterator().next();

            out.collect("user=" + userId
                    + ", session=[" + startSecond + "," + endSecond + ")"
                    + ", clicks=" + count);
        }
    }
}

预期输出如下。会话窗口输出顺序由触发时刻决定,本例在单并行度和单调时间戳下应得到两个会话。

text
user=u1, session=[1,12), clicks=3
user=u1, session=[15,22), clicks=2

动态会话间隔

固定间隔适用于同类行为具有统一节奏的场景。若不同事件需要不同超时时间,可使用动态间隔。例如高价值操作允许等待 10 秒,普通浏览只等待 5 秒。

下面是片段示例,依赖前面已经定义的 events、ClickCount 和 AddSessionInfo。动态提取器返回毫秒数,且必须返回大于 0 的值。

java
events
        .keyBy(event -> event.userId)
        .window(EventTimeSessionWindows.withDynamicGap(
                event -> event.userId.startsWith("vip-")
                        ? 10_000L
                        : 5_000L))
        .aggregate(new ClickCount(), new AddSessionInfo())
        .print();

生效后,键以 vip- 开头的用户使用 10 秒会话间隔,其他用户使用 5 秒间隔。可构造两组相同时间戳的数据,观察 VIP 事件是否被合并到更长的会话中。

排查窗口不输出

窗口没有结果时,先检查是否已经 keyBy,再检查事件时间戳是否正确、单位是否为毫秒,以及水位线是否持续推进。若数据源长时间空闲,还需考虑空闲分区导致整体水位线停滞的问题。

动态间隔不应直接依赖频繁变化的外部服务,否则同类事件可能得到不一致的间隔,还会把外部调用延迟带入窗口分配路径。更稳妥的做法是把规则随事件携带,或使用广播状态在算子内读取。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

会话窗口

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通