大数据与流处理 / 系统课时

算子状态

算子状态

本课解决“状态不按业务 Key 归属,而是跟随并行算子实例保存”这一问题。你将掌握 ListState 的快照与重分配规则,并理解 BroadcastState 如何把动态规则同步到每个并行子任务。

学习目标

  • 区分算子状态与键控状态的作用范围
  • 理解 ListState、UnionListState 的扩缩容恢复方式
  • 判断何时使用 BroadcastState 保存全局规则

算子状态解决什么问题

算子状态绑定到某个算子的并行子任务,而不是绑定到数据中的业务 Key。它适合保存分区消费位点、尚未提交的批次、文件切片、缓冲区等“由当前任务实例负责”的信息。实现 CheckpointedFunction 后,可在 initializeState() 中注册或恢复状态,在 snapshotState() 中把本地变量同步到托管状态。

键控状态必须位于 keyBy() 之后,并由 Flink 按 Key 自动路由和恢复;算子状态则由每个并行实例自行维护。选择标准不是“数据量大小”,而是状态究竟属于业务 Key,还是属于任务实例。

列表状态如何分配与恢复

普通 Operator ListState 使用偶数分配语义。发生故障或修改并行度后,Flink 汇总旧子任务保存的列表条目,再尽量均匀地分给新的子任务。每条状态记录只恢复到一个新实例,因此适合分区、切片和待处理任务。

UnionListState 使用联合分配语义。恢复时,所有旧子任务的条目会先合并,每个新子任务都获得完整列表。它适合每个实例都必须看到全量元数据的场景,但状态会随并行度放大;若条目很多,会增加恢复内存和反序列化开销。

ListState、UnionListState 与广播状态的恢复分配

主示例:保存算子缓冲区

下面的完整 Java 示例维护最近两条记录,并用 Operator ListState 参与 Checkpoint。代码需要放在已引入 Flink DataStream 依赖的 Maven 项目中运行。

java
import org.apache.flink.api.common.state.ListState;
import org.apache.flink.api.common.state.ListStateDescriptor;
import org.apache.flink.streaming.api.checkpoint.CheckpointedFunction;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.api.common.functions.RichMapFunction;
import org.apache.flink.runtime.state.FunctionInitializationContext;
import org.apache.flink.runtime.state.FunctionSnapshotContext;

import java.util.ArrayList;
import java.util.List;

public class OperatorListStateDemo {

    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env =
                StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);
        env.enableCheckpointing(1_000L);

        env.fromData("A", "B", "C")
                .map(new RecentBuffer())
                .print();

        env.execute("operator-list-state-demo");
    }

    public static class RecentBuffer
            extends RichMapFunction<String, String>
            implements CheckpointedFunction {

        private final List<String> recent = new ArrayList<>();
        private transient ListState<String> checkpointedRecent;

        @Override
        public String map(String value) {
            recent.add(value);
            if (recent.size() > 2) {
                recent.remove(0);
            }
            return "current=" + value + ", recent=" + recent;
        }

        @Override
        public void snapshotState(FunctionSnapshotContext context)
                throws Exception {
            // 先清空旧快照内容,避免同一条记录被重复追加。
            checkpointedRecent.clear();
            for (String item : recent) {
                checkpointedRecent.add(item);
            }
        }

        @Override
        public void initializeState(FunctionInitializationContext context)
                throws Exception {
            ListStateDescriptor<String> descriptor =
                    new ListStateDescriptor<>("recent-buffer", String.class);
            checkpointedRecent = context.getOperatorStateStore()
                    .getListState(descriptor);

            // 仅在从 Checkpoint 或 Savepoint 恢复时重建本地缓冲区。
            if (context.isRestored()) {
                for (String item : checkpointedRecent.get()) {
                    recent.add(item);
                }
            }
        }
    }
}

预期输出如下。不同运行环境可能附加子任务编号,但记录内容一致。

text
current=A, recent=[A]
current=B, recent=[A, B]
current=C, recent=[B, C]

真正验证恢复时,应让作业持续运行,等待至少一个 Checkpoint 完成后制造可恢复故障。恢复后的实例会先执行 initializeState(),再继续处理 Checkpoint 之后的数据。

广播状态保存动态规则

BroadcastState 是 Map 结构的特殊算子状态,常用于黑名单、告警阈值、路由规则等低吞吐配置流。规则流先通过 broadcast(MapStateDescriptor) 广播,再与业务流 connect();只有广播侧处理方法可以修改状态,业务侧只能只读访问,以保证各并行实例按相同顺序应用同一批规则。

每个并行子任务都持有并快照一份广播状态,因此读取是本地的,但 Checkpoint 体积通常会随并行度增加。规则流必须具有确定的更新语义;若不同子任务对同一规则执行不同修改,即使输入相同,也可能产生不一致结果。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

算子状态

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通