大数据与流处理 / 系统课时

让定时器随状态一致恢复

让定时器随状态一致恢复

在有状态流处理中,超时判断不能只保存业务状态,还要保存“何时触发”的定时信息。本课用 KeyedProcessFunction 实现每个 key 在 5 秒无新事件后超时,并说明 checkpoint 如何让状态与定时器一起恢复。

学习目标

  • 使用事件时间或处理时间定时器驱动按 key 的延迟逻辑。
  • 理解定时器与 Keyed State 一同快照、故障恢复后的触发语义。
  • 避免重复定时器、过期定时器与状态清理不同步。

把状态和定时器视为同一恢复单元

KeyedProcessFunction 只有应用在 KeyedStream 上时,才能同时访问 Keyed State 和按 key 隔离的 Timer Service。注册定时器后,Flink 会把尚未触发的定时器作为容错状态的一部分参与 checkpoint;从已完成 checkpoint 恢复时,业务状态与对应定时器一起回到该快照时刻。

如果故障发生在某条记录已经更新状态、注册定时器,但下一次 checkpoint 尚未完成之后,恢复会回退到上一个已完成 checkpoint。可重放的上游记录会再次执行相同逻辑,因此不要把“注册成功”误认为已经形成独立于 checkpoint 的持久副作用。

Keyed State 与定时器共同快照和恢复

用事件时间实现空闲超时

下面的完整示例把事件中的毫秒时间戳作为事件时间。每来一条记录,都删除该 key 之前的超时定时器,再注册“最后事件时间 + 5 秒”的新定时器;这样一个 key 只保留当前真正需要的超时点。

java
import java.time.Duration;

import org.apache.flink.api.common.eventtime.WatermarkStrategy;
import org.apache.flink.api.common.functions.OpenContext;
import org.apache.flink.api.common.state.ValueState;
import org.apache.flink.api.common.state.ValueStateDescriptor;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.KeyedProcessFunction;
import org.apache.flink.util.Collector;

public class RecoverableTimerDemo {
    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env =
                StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);
        env.enableCheckpointing(10_000);

        DataStream<Tuple2<String, Long>> events = env
                .fromElements(
                        Tuple2.of("alice", 1_000L),
                        Tuple2.of("bob", 2_000L),
                        Tuple2.of("alice", 3_000L))
                .assignTimestampsAndWatermarks(
                        WatermarkStrategy
                                .<Tuple2<String, Long>>forBoundedOutOfOrderness(Duration.ZERO)
                                .withTimestampAssigner(
                                        (event, previousTimestamp) -> event.f1));

        events.keyBy(event -> event.f0)
                .process(new InactivityTimeout(5_000L))
                .print();

        env.execute("recoverable-timer-demo");
    }

    static class InactivityTimeout
            extends KeyedProcessFunction<String, Tuple2<String, Long>, String> {

        private final long timeoutMillis;
        private transient ValueState<Long> timerTimestamp;

        InactivityTimeout(long timeoutMillis) {
            this.timeoutMillis = timeoutMillis;
        }

        @Override
        public void open(OpenContext openContext) throws Exception {
            timerTimestamp = getRuntimeContext().getState(
                    new ValueStateDescriptor<>("timer-ts", Long.class));
        }

        @Override
        public void processElement(
                Tuple2<String, Long> event,
                Context ctx,
                Collector<String> out) throws Exception {

            Long oldTimer = timerTimestamp.value();
            if (oldTimer != null) {
                // 旧超时点已经失效,先删除再注册新的超时点。
                ctx.timerService().deleteEventTimeTimer(oldTimer);
            }

            long newTimer = event.f1 + timeoutMillis;
            ctx.timerService().registerEventTimeTimer(newTimer);
            timerTimestamp.update(newTimer);
        }

        @Override
        public void onTimer(
                long timestamp,
                OnTimerContext ctx,
                Collector<String> out) throws Exception {

            out.collect(ctx.getCurrentKey()
                    + " timeout at event-time " + timestamp);
            // 定时器触发后清理辅助状态,避免把旧时间戳带入后续记录。
            timerTimestamp.clear();
        }
    }
}

预期输出

text
bob timeout at event-time 7000
alice timeout at event-time 8000

示例是有界输入,结束时会推进最终 Watermark,因此两个事件时间定时器都能触发。真实长流中,事件时间定时器只有在 Watermark 推进到相应时间戳后才会触发;仅仅墙上时钟过去了 5 秒,并不会让事件时间定时器自动执行。

区分事件时间与处理时间恢复语义

事件时间定时器适合“业务时间到了再处理”的场景,它依赖 Watermark。恢复后,定时器仍在,但要等恢复后的数据流重新推进 Watermark 才会继续触发。

处理时间定时器使用 registerProcessingTimeTimer(...),依赖 TaskManager 的处理时间。若某个已随 checkpoint 保存的处理时间定时器在故障期间已经过期,那么任务恢复时它可能立即触发。因此,onTimer 应当具备幂等性,不能假设恢复后还会获得完整的剩余等待时间。

同一个 key、同一种时间域、同一个时间戳重复注册,不应该被当成多个独立回调来设计。需要“推迟超时”时,应像示例一样在状态里保存当前时间戳,并显式删除旧定时器。

用故障边界检查设计

检查定时逻辑时,重点看三个边界:定时器是否与正确的 key 绑定、更新业务状态时是否同步更新定时器、onTimer 是否在输出后清理或推进相关状态。只要状态和触发时间共同受 checkpoint 管理,恢复才不会出现“状态回来了,但触发时机永久丢失”的断裂。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

让定时器随状态一致恢复

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通