大数据与流处理 / 系统课时
状态过期策略
状态过期策略
State TTL 用来限制 Keyed State 的可用时长,但它不是到点立即删除数据的精确定时器。本课通过可运行示例配置 TTL,并把刷新时机、过期值可见性、后台清理与状态恢复规则拆开说明,避免把逻辑过期误认为物理清除。
学习目标
- 使用 StateTtlConfig 为状态描述器启用 TTL
- 区分 TTL 刷新、读取可见性和物理清理三个概念
- 根据状态后端选择合适的清理策略并验证过期行为
TTL 的判定模型
创建 TTL 配置时必须指定存活时长。OnCreateAndWrite 只在创建或写入状态时刷新时间戳,适合会话、缓存和临时聚合;OnReadAndWrite 连读取也会续期,适合访问即保活的场景,但可能让热点状态长期不过期。
NeverReturnExpired 保证读取时不返回已过期值,即使底层数据尚未删除;ReturnExpiredIfNotCleanedUp 允许在物理清理前读到旧值。涉及隐私、权限或严格业务窗口时,应优先选择前者。

完整示例:观察写入续期
示例把 TTL 设为 1 秒。第二条事件在 0.5 秒后到达并写回计数,因此 TTL 被刷新;第三条事件再等待 1.5 秒,读取时旧状态已经不可见,计数从 1 重新开始。Thread.sleep 仅用于本地演示,生产算子不得用阻塞等待模拟业务时间。
import org.apache.flink.api.common.functions.OpenContext;
import org.apache.flink.api.common.state.StateTtlConfig;
import org.apache.flink.api.common.state.ValueState;
import org.apache.flink.api.common.state.ValueStateDescriptor;
import org.apache.flink.api.java.tuple.Tuple3;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.KeyedProcessFunction;
import org.apache.flink.util.Collector;
import java.time.Duration;
public class StateTtlDemo {
public static void main(String[] args) throws Exception {
StreamExecutionEnvironment env =
StreamExecutionEnvironment.getExecutionEnvironment();
env.setParallelism(1);
env.fromData(
Tuple3.of("u1", "login", 0L),
Tuple3.of("u1", "read", 500L),
Tuple3.of("u1", "checkout", 1500L))
.keyBy(event -> event.f0)
.process(new RecentActivityCounter())
.print();
env.execute("state-ttl-demo");
}
static class RecentActivityCounter extends
KeyedProcessFunction<String, Tuple3<String, String, Long>, String> {
private transient ValueState<Integer> recentCount;
@Override
public void open(OpenContext openContext) throws Exception {
StateTtlConfig ttlConfig = StateTtlConfig
.newBuilder(Duration.ofSeconds(1))
.setUpdateType(
StateTtlConfig.UpdateType.OnCreateAndWrite)
.setStateVisibility(
StateTtlConfig.StateVisibility.NeverReturnExpired)
.cleanupFullSnapshot()
.build();
ValueStateDescriptor<Integer> descriptor =
new ValueStateDescriptor<>(
"recent-activity-count", Integer.class);
descriptor.enableTimeToLive(ttlConfig);
recentCount = getRuntimeContext().getState(descriptor);
}
@Override
public void processElement(
Tuple3<String, String, Long> event,
Context context,
Collector<String> out) throws Exception {
// 仅为制造可观察的处理时间间隔,不能用于生产流控。
Thread.sleep(event.f2);
Integer oldValue = recentCount.value();
int nextValue = oldValue == null ? 1 : oldValue + 1;
recentCount.update(nextValue);
out.collect(
event.f0 + " action=" + event.f1
+ " recentCount=" + nextValue);
}
}
}预期输出如下。操作系统调度会影响实际间隔,但 1.5 秒等待明显大于 1 秒 TTL。
u1 action=login recentCount=1
u1 action=read recentCount=2
u1 action=checkout recentCount=1清理时机不是过期时刻
TTL 到期后,Flink 首先按可见性规则决定是否返回旧值;物理删除通常是尽力而为。默认情况下,访问状态时可以清除过期值,受支持的状态后端还会执行后台清理,因此不能把 TTL 当作精确到秒的删除任务。
堆状态后端可配置增量清理,例如每次触发检查若干条状态;检查量越大,回收更快,但会增加记录处理延迟。RocksDB 状态后端可借助 compaction filter 删除过期条目;更频繁地查询时间或触发周期压缩,会增加 compaction 成本。
cleanupFullSnapshot() 会在完整状态快照中排除过期数据,主要用于减小恢复后的状态体积。它不会立即清理当前本地状态,也不适用于把增量 RocksDB checkpoint 当作完整快照清理。
集合状态与恢复边界
ListState 和 MapState 支持条目级 TTL,列表元素或映射项可以分别过期,而不是整个容器同时失效。启用 TTL 会为状态值附加时间戳,增加内存或 RocksDB 存储开销,短 TTL 与海量小条目组合时尤其需要压测。
当前 TTL 以处理时间为基准,不会按照事件时间 Watermark 过期。TTL 配置描述的是当前作业如何解释状态,并不是 checkpoint 或 savepoint 中固定保存的业务规则;恢复已有状态时,不应未经验证就把 TTL 从较短值改成较长值。
验证与生产检查
验证 TTL 时应同时检查读取结果、状态后端体积和 checkpoint 大小。只看到读取返回 null,只能证明状态逻辑上不可见,不能证明磁盘条目已经被清除。
生产配置还应确认业务是否允许读操作续期、过期数据是否绝不能返回、使用的是堆状态还是 RocksDB、任务是否持续有数据触发清理,以及 savepoint 恢复前后 TTL 语义是否保持一致。