大数据与流处理 / 系统课时

使用 ListState 保存多值

使用 ListState 保存多值

有些 keyed 逻辑不能只记一个最新值,而要保留同一 key 的多条元素,例如最近的操作序列或待处理记录。本课用 ListState 演示追加、批量追加、整体替换和遍历,并说明为什么必须主动控制列表体积。

学习目标

  • 使用 ListState 为每个 key 保存多条独立元素
  • 区分 add、addAll、update、get 与 clear 的语义
  • 识别无界列表对状态大小和恢复成本的影响

把多值状态当成受控集合

ListState<T> 对当前 key 维护一组有序元素。调用 add 会在已有内容后追加一个元素,addAll 追加一批元素,而 update 会用给定列表整体替换旧内容。读取时通过 get() 获得 Iterable<T>,适合顺序遍历。

它仍然是 Keyed State:只有经过 keyBy 后,用户函数才会在处理某个 key 时访问该 key 的列表。alice 可以有四条记录,bob 可以只有一条,两份状态由 Flink 分别管理。

用一个程序覆盖追加与替换

下面把输入解释为“用户、操作、内容”。每执行一次操作就遍历当前 key 的 ListState 并输出快照,因此可以直接观察追加和替换的区别。

java
import org.apache.flink.api.common.functions.OpenContext;
import org.apache.flink.api.common.state.ListState;
import org.apache.flink.api.common.state.ListStateDescriptor;
import org.apache.flink.api.java.tuple.Tuple3;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.RichFlatMapFunction;
import org.apache.flink.util.Collector;

import java.util.ArrayList;
import java.util.Arrays;
import java.util.List;

public class ListStateDemo {

    public static class HistoryFunction
            extends RichFlatMapFunction<Tuple3<String, String, String>, String> {

        private transient ListState<String> history;

        @Override
        public void open(OpenContext openContext) {
            ListStateDescriptor<String> descriptor =
                    new ListStateDescriptor<>("history", String.class);
            history = getRuntimeContext().getListState(descriptor);
        }

        @Override
        public void flatMap(
                Tuple3<String, String, String> input,
                Collector<String> out) throws Exception {

            // add/addAll 保留旧元素;update 用新列表整体替换当前 key 的旧内容。
            if ("add".equals(input.f1)) {
                history.add(input.f2);
            } else if ("addAll".equals(input.f1)) {
                history.addAll(Arrays.asList(input.f2.split(",")));
            } else if ("replace".equals(input.f1)) {
                history.update(Arrays.asList(input.f2.split(",")));
            } else if ("clear".equals(input.f1)) {
                history.clear();
            } else {
                throw new IllegalArgumentException("unknown action: " + input.f1);
            }

            // get() 返回 Iterable,复制成普通 List 只是为了稳定打印当前快照。
            List<String> snapshot = new ArrayList<>();
            Iterable<String> values = history.get();
            if (values != null) {
                for (String value : values) {
                    snapshot.add(value);
                }
            }

            out.collect(input.f0 + " -> " + snapshot);
        }
    }

    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env =
                StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);

        DataStream<Tuple3<String, String, String>> commands =
                env.fromElements(
                        Tuple3.of("alice", "add", "login"),
                        Tuple3.of("alice", "add", "click"),
                        Tuple3.of("bob", "add", "purchase"),
                        Tuple3.of("alice", "addAll", "checkout,pay"),
                        Tuple3.of("alice", "replace", "pay,success"));

        commands
                .keyBy(value -> value.f0)
                .flatMap(new HistoryFunction())
                .print();

        env.execute("list-state-demo");
    }
}

预期输出如下;不同运行环境的 Print Sink 可能额外显示子任务前缀。

text
alice -> [login]
alice -> [login, click]
bob -> [purchase]
alice -> [login, click, checkout, pay]
alice -> [pay, success]

第四行说明 addAll 在原列表后继续追加;第五行说明 update 不是追加,而是把 alice 的整份列表替换成 [pay, success]。bob 的 [purchase] 保持独立。

选择正确的修改操作

操作 对当前 key 的影响 典型用途
add(value) 追加一个元素 单条事件到来
addAll(values) 追加一批元素 批量补入
update(values) 整体替换旧列表 截断、重写快照
get() 返回当前元素的 Iterable 遍历读取
clear() 删除当前 key 的整份列表 生命周期结束

不要把 update 当作“更新其中某一项”的随机访问接口。若你经常需要按子键查找、覆盖或删除单个元素,MapState 往往比反复遍历和重建整个 ListState 更合适。

控制列表体积

ListState 最容易出现的问题不是 API 用错,而是列表没有上界。每个 key 持续追加事件会让状态越来越大,遍历时间、状态序列化量、checkpoint 数据量以及故障恢复负担都会随之增加。

常见控制方式是只保存真正需要恢复的数据,并在业务结束时 clear();如果只需要最近 N 条,可以读取后构造受限列表,再用 update 替换;如果目标只是累计数量、和或其他聚合结果,就不要保存完整明细,改用 ReducingState 或 AggregatingState。

当每个 key 的多条元素确实需要参与后续计算,而且集合规模能够被业务规则约束时,ListState 很合适;一旦元素数量可能无限增长,就应先设计清理、截断或聚合策略,再上线作业。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

使用 ListState 保存多值

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通