大数据与流处理 / 系统课时
使用 ValueState 保存单值
使用 ValueState 保存单值
当同一个用户、设备或订单的事件持续到来时,算子常常只需要记住“当前这个 key 的一个值”。本课用 ValueState 保存每个 key 的最新数值,并完整走通读取、更新、清除以及空状态默认值处理。
学习目标
- 理解
ValueState为什么天然按当前 key 隔离 - 使用
value()、update()与clear()管理单值状态 - 正确处理首次访问或清除后的空状态
先明确状态属于谁
ValueState<T> 保存的是“当前 key 对应的一个 T”,而不是算子实例共享的一份普通成员变量。数据先经过 keyBy 形成 KeyedStream,用户函数每处理一条记录,Flink 都会根据这条记录的 key 自动切换到对应的状态分区。
因此,alice 更新自己的状态不会覆盖 bob。状态句柄可以放在函数成员变量中,但通过它读到的值取决于当前正在处理的 key。
首次读取一个尚未写入的状态时,如果描述符没有配置默认值,value() 返回 null。业务代码应显式决定 null 代表什么,而不是直接拆箱成基本类型。
用完整程序读写最新值
下面的程序把三元组解释为“用户、操作、数值”。set 更新当前 key 的最新值,clear 删除当前 key 的状态。示例把空状态解释为业务默认值 0,这样可以清楚看到不同 key 互不干扰。
import org.apache.flink.api.common.functions.OpenContext;
import org.apache.flink.api.common.state.ValueState;
import org.apache.flink.api.common.state.ValueStateDescriptor;
import org.apache.flink.api.java.tuple.Tuple3;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.RichFlatMapFunction;
import org.apache.flink.util.Collector;
public class ValueStateDemo {
public static class LatestValueFunction
extends RichFlatMapFunction<Tuple3<String, String, Integer>, String> {
private transient ValueState<Integer> latestValue;
@Override
public void open(OpenContext openContext) {
ValueStateDescriptor<Integer> descriptor =
new ValueStateDescriptor<>("latest-value", Integer.class);
latestValue = getRuntimeContext().getState(descriptor);
}
@Override
public void flatMap(
Tuple3<String, String, Integer> input,
Collector<String> out) throws Exception {
// 未写入或已清除时 value() 为 null,这里把业务默认值定义为 0。
Integer stored = latestValue.value();
int oldValue = stored == null ? 0 : stored;
if ("clear".equals(input.f1)) {
// clear() 只清除当前 key 的这份状态。
latestValue.clear();
out.collect(input.f0 + ": old=" + oldValue + ", cleared");
return;
}
latestValue.update(input.f2);
out.collect(input.f0 + ": old=" + oldValue + ", new=" + input.f2);
}
}
public static void main(String[] args) throws Exception {
StreamExecutionEnvironment env =
StreamExecutionEnvironment.getExecutionEnvironment();
env.setParallelism(1);
DataStream<Tuple3<String, String, Integer>> commands =
env.fromElements(
Tuple3.of("alice", "set", 10),
Tuple3.of("bob", "set", 7),
Tuple3.of("alice", "set", 12),
Tuple3.of("alice", "clear", 0),
Tuple3.of("alice", "set", 3));
commands
.keyBy(value -> value.f0)
.flatMap(new LatestValueFunction())
.print();
env.execute("value-state-demo");
}
}预期输出如下;不同运行环境的 Print Sink 可能额外显示子任务前缀,但业务内容应一致。
alice: old=0, new=10
bob: old=0, new=7
alice: old=10, new=12
alice: old=12, cleared
alice: old=0, new=3关键点在第四、第五行:clear() 删除的是 alice 当前 key 的状态,因此下一次读取又回到空状态,程序再把它解释为 0;bob 的状态没有受到影响。
区分读取、更新与清除
value() 只读取当前 key 的值,不会创建新状态;update(value) 用新值替换当前 key 的旧值;clear() 则显式删除当前 key 的状态。状态描述符中的名称应保持稳定且具有唯一含义,因为它用于标识这份状态。
如果业务需要“没有值”和“值恰好为 0”是两种不同语义,就不要把 null 立即折叠成 0。可以先判断 stored == null,再分别处理初始化和已有状态。
什么时候适合 ValueState
当每个 key 只需要一个“当前值”时,ValueState 最直接,例如最近一次状态、累计计数、当前阶段或上次事件时间。若一个 key 必须同时保留多条独立元素,继续把它们塞进一个不断扩大的对象会让更新和序列化变重,此时更适合改用 ListState、MapState 或聚合状态。