大数据与流处理 / 系统课时

值状态

值状态

本课通过“按用户累计订单金额”的程序掌握 ValueState:每个业务键只保存一个当前值,事件到达时读取旧值、计算新值并更新;达到阈值后主动清理。完成后,你可以把计数、余额、最近时间等单值结果安全地放入 Flink 托管状态。

学习目标

  • 掌握 ValueState 的声明、读取、更新和清理
  • 正确处理状态首次访问时的空值
  • 用 KeyedProcessFunction 完成按键累计与阈值重置

ValueState 的适用边界

ValueState<T> 为当前 key 保存一个类型为 T 的值,适合累计数量、最近一次时间、当前规则版本或阶段标记。它不是全局变量;同一个算子处理不同 key 时,value() 访问的是各自独立的数据。

使用 keyed state 前必须让数据流经过 keyBy。如果业务需要保存一组元素或按子键查找多个值,应分别考虑 ListState 或 MapState,不要把不断增长的集合强行塞进一个 ValueState。

四个核心操作

创建状态时使用 ValueStateDescriptor 定义状态名称和数据类型,再通过运行时上下文取得状态句柄。常用操作只有三个:value() 读取当前值,update(value) 覆盖当前值,clear() 删除当前 key 的值。

ValueState 读写与清理流程

对于引用类型,某个 key 尚未写入状态时,value() 通常返回 null。业务代码必须显式给出初始值,或者在描述符中采用适合当前版本和序列化方式的默认策略。示例选择显式处理,行为最直观。

实现累计金额与阈值重置

下面的程序按用户累计订单金额。当累计值达到 1000 时,先输出阈值消息,再调用 clear();同一用户的下一笔订单会从 0 重新累计。

java
import org.apache.flink.api.common.state.ValueState;
import org.apache.flink.api.common.state.ValueStateDescriptor;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.functions.KeyedProcessFunction;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.util.Collector;

public class ValueStateDemo {

    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env =
                StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);

        env.fromElements(
                        Tuple2.of("u1", 400),
                        Tuple2.of("u2", 300),
                        Tuple2.of("u1", 650),
                        Tuple2.of("u1", 100))
                .keyBy(order -> order.f0)
                .process(new KeyedProcessFunction<
                        String, Tuple2<String, Integer>, String>() {
                    private transient ValueState<Integer> amountState;

                    @Override
                    public void open(Configuration parameters) {
                        ValueStateDescriptor<Integer> descriptor =
                                new ValueStateDescriptor<>("amount", Integer.class);
                        amountState = getRuntimeContext().getState(descriptor);
                    }

                    @Override
                    public void processElement(
                            Tuple2<String, Integer> order,
                            Context context,
                            Collector<String> out) throws Exception {
                        Integer current = amountState.value();
                        int next = (current == null ? 0 : current) + order.f1;
                        amountState.update(next);
                        out.collect(order.f0 + " cumulative=" + next);

                        if (next >= 1000) {
                            out.collect(order.f0 + " threshold reached, state cleared");
                            amountState.clear();
                        }
                    }
                })
                .print();

        env.execute("value-state-demo");
    }
}

预期输出:

text
u1 cumulative=400
u2 cumulative=300
u1 cumulative=1050
u1 threshold reached, state cleared
u1 cumulative=100

最后一行是 100 而不是 1150,证明 clear() 已删除 u1 的旧状态。u2 的 300 没有被影响,因为清理操作只作用于当前 key。

验证与常见错误

验证状态逻辑时,至少准备两个交错出现的 key,并让其中一个 key 多次更新。这样可以同时检查“同 key 能累积”和“不同 key 不串值”两个条件。

常见错误包括在 keyBy 之前访问 keyed state、忘记处理首次读取的 null、只更新普通成员变量,以及状态达到终止条件后不清理。生产任务还应启用检查点,并根据业务保留周期配置状态 TTL;TTL 是过期治理手段,不能替代明确的业务清理规则。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

值状态

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通