大数据与流处理 / 系统课时
算子状态
算子状态
本课解决“状态不按业务 Key 归属,而是跟随并行算子实例保存”这一问题。你将掌握 ListState 的快照与重分配规则,并理解 BroadcastState 如何把动态规则同步到每个并行子任务。
学习目标
- 区分算子状态与键控状态的作用范围
- 理解 ListState、UnionListState 的扩缩容恢复方式
- 判断何时使用 BroadcastState 保存全局规则
算子状态解决什么问题
算子状态绑定到某个算子的并行子任务,而不是绑定到数据中的业务 Key。它适合保存分区消费位点、尚未提交的批次、文件切片、缓冲区等“由当前任务实例负责”的信息。实现 CheckpointedFunction 后,可在 initializeState() 中注册或恢复状态,在 snapshotState() 中把本地变量同步到托管状态。
键控状态必须位于 keyBy() 之后,并由 Flink 按 Key 自动路由和恢复;算子状态则由每个并行实例自行维护。选择标准不是“数据量大小”,而是状态究竟属于业务 Key,还是属于任务实例。
列表状态如何分配与恢复
普通 Operator ListState 使用偶数分配语义。发生故障或修改并行度后,Flink 汇总旧子任务保存的列表条目,再尽量均匀地分给新的子任务。每条状态记录只恢复到一个新实例,因此适合分区、切片和待处理任务。
UnionListState 使用联合分配语义。恢复时,所有旧子任务的条目会先合并,每个新子任务都获得完整列表。它适合每个实例都必须看到全量元数据的场景,但状态会随并行度放大;若条目很多,会增加恢复内存和反序列化开销。

主示例:保存算子缓冲区
下面的完整 Java 示例维护最近两条记录,并用 Operator ListState 参与 Checkpoint。代码需要放在已引入 Flink DataStream 依赖的 Maven 项目中运行。
import org.apache.flink.api.common.state.ListState;
import org.apache.flink.api.common.state.ListStateDescriptor;
import org.apache.flink.streaming.api.checkpoint.CheckpointedFunction;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.api.common.functions.RichMapFunction;
import org.apache.flink.runtime.state.FunctionInitializationContext;
import org.apache.flink.runtime.state.FunctionSnapshotContext;
import java.util.ArrayList;
import java.util.List;
public class OperatorListStateDemo {
public static void main(String[] args) throws Exception {
StreamExecutionEnvironment env =
StreamExecutionEnvironment.getExecutionEnvironment();
env.setParallelism(1);
env.enableCheckpointing(1_000L);
env.fromData("A", "B", "C")
.map(new RecentBuffer())
.print();
env.execute("operator-list-state-demo");
}
public static class RecentBuffer
extends RichMapFunction<String, String>
implements CheckpointedFunction {
private final List<String> recent = new ArrayList<>();
private transient ListState<String> checkpointedRecent;
@Override
public String map(String value) {
recent.add(value);
if (recent.size() > 2) {
recent.remove(0);
}
return "current=" + value + ", recent=" + recent;
}
@Override
public void snapshotState(FunctionSnapshotContext context)
throws Exception {
// 先清空旧快照内容,避免同一条记录被重复追加。
checkpointedRecent.clear();
for (String item : recent) {
checkpointedRecent.add(item);
}
}
@Override
public void initializeState(FunctionInitializationContext context)
throws Exception {
ListStateDescriptor<String> descriptor =
new ListStateDescriptor<>("recent-buffer", String.class);
checkpointedRecent = context.getOperatorStateStore()
.getListState(descriptor);
// 仅在从 Checkpoint 或 Savepoint 恢复时重建本地缓冲区。
if (context.isRestored()) {
for (String item : checkpointedRecent.get()) {
recent.add(item);
}
}
}
}
}预期输出如下。不同运行环境可能附加子任务编号,但记录内容一致。
current=A, recent=[A]
current=B, recent=[A, B]
current=C, recent=[B, C]真正验证恢复时,应让作业持续运行,等待至少一个 Checkpoint 完成后制造可恢复故障。恢复后的实例会先执行 initializeState(),再继续处理 Checkpoint 之后的数据。
广播状态保存动态规则
BroadcastState 是 Map 结构的特殊算子状态,常用于黑名单、告警阈值、路由规则等低吞吐配置流。规则流先通过 broadcast(MapStateDescriptor) 广播,再与业务流 connect();只有广播侧处理方法可以修改状态,业务侧只能只读访问,以保证各并行实例按相同顺序应用同一批规则。
每个并行子任务都持有并快照一份广播状态,因此读取是本地的,但 Checkpoint 体积通常会随并行度增加。规则流必须具有确定的更新语义;若不同子任务对同一规则执行不同修改,即使输入相同,也可能产生不一致结果。