大数据与流处理 / 系统课时

状态过期策略

状态过期策略

State TTL 用来限制 Keyed State 的可用时长,但它不是到点立即删除数据的精确定时器。本课通过可运行示例配置 TTL,并把刷新时机、过期值可见性、后台清理与状态恢复规则拆开说明,避免把逻辑过期误认为物理清除。

学习目标

  • 使用 StateTtlConfig 为状态描述器启用 TTL
  • 区分 TTL 刷新、读取可见性和物理清理三个概念
  • 根据状态后端选择合适的清理策略并验证过期行为

TTL 的判定模型

创建 TTL 配置时必须指定存活时长。OnCreateAndWrite 只在创建或写入状态时刷新时间戳,适合会话、缓存和临时聚合;OnReadAndWrite 连读取也会续期,适合访问即保活的场景,但可能让热点状态长期不过期。

NeverReturnExpired 保证读取时不返回已过期值,即使底层数据尚未删除;ReturnExpiredIfNotCleanedUp 允许在物理清理前读到旧值。涉及隐私、权限或严格业务窗口时,应优先选择前者。

State TTL 的逻辑过期与物理清理时间线

完整示例:观察写入续期

示例把 TTL 设为 1 秒。第二条事件在 0.5 秒后到达并写回计数,因此 TTL 被刷新;第三条事件再等待 1.5 秒,读取时旧状态已经不可见,计数从 1 重新开始。Thread.sleep 仅用于本地演示,生产算子不得用阻塞等待模拟业务时间。

java
import org.apache.flink.api.common.functions.OpenContext;
import org.apache.flink.api.common.state.StateTtlConfig;
import org.apache.flink.api.common.state.ValueState;
import org.apache.flink.api.common.state.ValueStateDescriptor;
import org.apache.flink.api.java.tuple.Tuple3;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.KeyedProcessFunction;
import org.apache.flink.util.Collector;

import java.time.Duration;

public class StateTtlDemo {

    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env =
                StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);

        env.fromData(
                        Tuple3.of("u1", "login", 0L),
                        Tuple3.of("u1", "read", 500L),
                        Tuple3.of("u1", "checkout", 1500L))
                .keyBy(event -> event.f0)
                .process(new RecentActivityCounter())
                .print();

        env.execute("state-ttl-demo");
    }

    static class RecentActivityCounter extends
            KeyedProcessFunction<String, Tuple3<String, String, Long>, String> {

        private transient ValueState<Integer> recentCount;

        @Override
        public void open(OpenContext openContext) throws Exception {
            StateTtlConfig ttlConfig = StateTtlConfig
                    .newBuilder(Duration.ofSeconds(1))
                    .setUpdateType(
                            StateTtlConfig.UpdateType.OnCreateAndWrite)
                    .setStateVisibility(
                            StateTtlConfig.StateVisibility.NeverReturnExpired)
                    .cleanupFullSnapshot()
                    .build();

            ValueStateDescriptor<Integer> descriptor =
                    new ValueStateDescriptor<>(
                            "recent-activity-count", Integer.class);
            descriptor.enableTimeToLive(ttlConfig);

            recentCount = getRuntimeContext().getState(descriptor);
        }

        @Override
        public void processElement(
                Tuple3<String, String, Long> event,
                Context context,
                Collector<String> out) throws Exception {

            // 仅为制造可观察的处理时间间隔,不能用于生产流控。
            Thread.sleep(event.f2);

            Integer oldValue = recentCount.value();
            int nextValue = oldValue == null ? 1 : oldValue + 1;
            recentCount.update(nextValue);

            out.collect(
                    event.f0 + " action=" + event.f1
                            + " recentCount=" + nextValue);
        }
    }
}

预期输出如下。操作系统调度会影响实际间隔,但 1.5 秒等待明显大于 1 秒 TTL。

text
u1 action=login recentCount=1
u1 action=read recentCount=2
u1 action=checkout recentCount=1

清理时机不是过期时刻

TTL 到期后,Flink 首先按可见性规则决定是否返回旧值;物理删除通常是尽力而为。默认情况下,访问状态时可以清除过期值,受支持的状态后端还会执行后台清理,因此不能把 TTL 当作精确到秒的删除任务。

堆状态后端可配置增量清理,例如每次触发检查若干条状态;检查量越大,回收更快,但会增加记录处理延迟。RocksDB 状态后端可借助 compaction filter 删除过期条目;更频繁地查询时间或触发周期压缩,会增加 compaction 成本。

cleanupFullSnapshot() 会在完整状态快照中排除过期数据,主要用于减小恢复后的状态体积。它不会立即清理当前本地状态,也不适用于把增量 RocksDB checkpoint 当作完整快照清理。

集合状态与恢复边界

ListState 和 MapState 支持条目级 TTL,列表元素或映射项可以分别过期,而不是整个容器同时失效。启用 TTL 会为状态值附加时间戳,增加内存或 RocksDB 存储开销,短 TTL 与海量小条目组合时尤其需要压测。

当前 TTL 以处理时间为基准,不会按照事件时间 Watermark 过期。TTL 配置描述的是当前作业如何解释状态,并不是 checkpoint 或 savepoint 中固定保存的业务规则;恢复已有状态时,不应未经验证就把 TTL 从较短值改成较长值。

验证与生产检查

验证 TTL 时应同时检查读取结果、状态后端体积和 checkpoint 大小。只看到读取返回 null,只能证明状态逻辑上不可见,不能证明磁盘条目已经被清除。

生产配置还应确认业务是否允许读操作续期、过期数据是否绝不能返回、使用的是堆状态还是 RocksDB、任务是否持续有数据触发清理,以及 savepoint 恢复前后 TTL 语义是否保持一致。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

状态过期策略

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通