大数据与流处理 / 系统课时
使用 ListState 保存多值
使用 ListState 保存多值
有些 keyed 逻辑不能只记一个最新值,而要保留同一 key 的多条元素,例如最近的操作序列或待处理记录。本课用 ListState 演示追加、批量追加、整体替换和遍历,并说明为什么必须主动控制列表体积。
学习目标
- 使用
ListState为每个 key 保存多条独立元素 - 区分
add、addAll、update、get与clear的语义 - 识别无界列表对状态大小和恢复成本的影响
把多值状态当成受控集合
ListState<T> 对当前 key 维护一组有序元素。调用 add 会在已有内容后追加一个元素,addAll 追加一批元素,而 update 会用给定列表整体替换旧内容。读取时通过 get() 获得 Iterable<T>,适合顺序遍历。
它仍然是 Keyed State:只有经过 keyBy 后,用户函数才会在处理某个 key 时访问该 key 的列表。alice 可以有四条记录,bob 可以只有一条,两份状态由 Flink 分别管理。
用一个程序覆盖追加与替换
下面把输入解释为“用户、操作、内容”。每执行一次操作就遍历当前 key 的 ListState 并输出快照,因此可以直接观察追加和替换的区别。
import org.apache.flink.api.common.functions.OpenContext;
import org.apache.flink.api.common.state.ListState;
import org.apache.flink.api.common.state.ListStateDescriptor;
import org.apache.flink.api.java.tuple.Tuple3;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.RichFlatMapFunction;
import org.apache.flink.util.Collector;
import java.util.ArrayList;
import java.util.Arrays;
import java.util.List;
public class ListStateDemo {
public static class HistoryFunction
extends RichFlatMapFunction<Tuple3<String, String, String>, String> {
private transient ListState<String> history;
@Override
public void open(OpenContext openContext) {
ListStateDescriptor<String> descriptor =
new ListStateDescriptor<>("history", String.class);
history = getRuntimeContext().getListState(descriptor);
}
@Override
public void flatMap(
Tuple3<String, String, String> input,
Collector<String> out) throws Exception {
// add/addAll 保留旧元素;update 用新列表整体替换当前 key 的旧内容。
if ("add".equals(input.f1)) {
history.add(input.f2);
} else if ("addAll".equals(input.f1)) {
history.addAll(Arrays.asList(input.f2.split(",")));
} else if ("replace".equals(input.f1)) {
history.update(Arrays.asList(input.f2.split(",")));
} else if ("clear".equals(input.f1)) {
history.clear();
} else {
throw new IllegalArgumentException("unknown action: " + input.f1);
}
// get() 返回 Iterable,复制成普通 List 只是为了稳定打印当前快照。
List<String> snapshot = new ArrayList<>();
Iterable<String> values = history.get();
if (values != null) {
for (String value : values) {
snapshot.add(value);
}
}
out.collect(input.f0 + " -> " + snapshot);
}
}
public static void main(String[] args) throws Exception {
StreamExecutionEnvironment env =
StreamExecutionEnvironment.getExecutionEnvironment();
env.setParallelism(1);
DataStream<Tuple3<String, String, String>> commands =
env.fromElements(
Tuple3.of("alice", "add", "login"),
Tuple3.of("alice", "add", "click"),
Tuple3.of("bob", "add", "purchase"),
Tuple3.of("alice", "addAll", "checkout,pay"),
Tuple3.of("alice", "replace", "pay,success"));
commands
.keyBy(value -> value.f0)
.flatMap(new HistoryFunction())
.print();
env.execute("list-state-demo");
}
}预期输出如下;不同运行环境的 Print Sink 可能额外显示子任务前缀。
alice -> [login]
alice -> [login, click]
bob -> [purchase]
alice -> [login, click, checkout, pay]
alice -> [pay, success]第四行说明 addAll 在原列表后继续追加;第五行说明 update 不是追加,而是把 alice 的整份列表替换成 [pay, success]。bob 的 [purchase] 保持独立。
选择正确的修改操作
| 操作 | 对当前 key 的影响 | 典型用途 |
|---|---|---|
add(value) |
追加一个元素 | 单条事件到来 |
addAll(values) |
追加一批元素 | 批量补入 |
update(values) |
整体替换旧列表 | 截断、重写快照 |
get() |
返回当前元素的 Iterable |
遍历读取 |
clear() |
删除当前 key 的整份列表 | 生命周期结束 |
不要把 update 当作“更新其中某一项”的随机访问接口。若你经常需要按子键查找、覆盖或删除单个元素,MapState 往往比反复遍历和重建整个 ListState 更合适。
控制列表体积
ListState 最容易出现的问题不是 API 用错,而是列表没有上界。每个 key 持续追加事件会让状态越来越大,遍历时间、状态序列化量、checkpoint 数据量以及故障恢复负担都会随之增加。
常见控制方式是只保存真正需要恢复的数据,并在业务结束时 clear();如果只需要最近 N 条,可以读取后构造受限列表,再用 update 替换;如果目标只是累计数量、和或其他聚合结果,就不要保存完整明细,改用 ReducingState 或 AggregatingState。
当每个 key 的多条元素确实需要参与后续计算,而且集合规模能够被业务规则约束时,ListState 很合适;一旦元素数量可能无限增长,就应先设计清理、截断或聚合策略,再上线作业。