大数据与流处理 / 系统课时

使用 Broadcast State 分发规则

使用 Broadcast State 分发规则

当规则会动态变化、又必须被每个并行算子实例一致读取时,Broadcast State 可以把规则流复制到所有下游实例,并让业务事件按 key 处理。本文用一个金额阈值规则示例串起广播、读取、快照与恢复的完整路径。

学习目标

  • 能用 MapStateDescriptor、broadcast 和 KeyedBroadcastProcessFunction 建立规则广播链路。
  • 能区分广播侧的可写状态与业务数据侧的只读视图。
  • 能说明 Broadcast State 如何随 checkpoint 一起恢复,以及规则处理为什么要保持确定性。

广播规则是怎样进入每个并行实例的

业务流通常需要按业务键分区,而规则流的诉求不同:同一条规则要送到每个下游并行实例。调用 broadcast 后,规则记录会被复制到连接算子的所有并行子任务;每个子任务维护一份逻辑相同的 Broadcast State。

Broadcast State 规则分发与事件处理数据流

这里有两个权限边界。processBroadcastElement 处理广播规则,可以通过 Context 修改 Broadcast State;processElement 处理 keyed 业务数据,只能通过 ReadOnlyContext 读取它。这样可以避免普通数据流在不同并行实例上任意改写规则副本。

用 KeyedBroadcastProcessFunction 匹配规则

下面的主示例维护一条全局阈值规则:金额达到阈值时输出告警。代码假设项目已经包含与集群版本匹配的 Flink DataStream 依赖。

java
import org.apache.flink.api.common.state.MapStateDescriptor;
import org.apache.flink.streaming.api.datastream.BroadcastStream;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.co.KeyedBroadcastProcessFunction;
import org.apache.flink.util.Collector;

public class BroadcastRuleDemo {
    private static final int RULE_ID = 1;
    // 描述广播状态的键和值类型,广播端与读取端必须复用同一描述符。
    private static final MapStateDescriptor<Integer, Rule> RULES =
            new MapStateDescriptor<>("rules", Integer.class, Rule.class);

    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);

        DataStream<Rule> ruleStream = env.fromElements(new Rule(RULE_ID, 100.0));
        DataStream<Event> eventStream = env.fromElements(
                new Event("alice", 120.0),
                new Event("bob", 80.0)
        );

        // 规则流复制到所有下游并行实例,业务流仍按 userId 分区。
        BroadcastStream<Rule> broadcastRules = ruleStream.broadcast(RULES);

        eventStream
                .keyBy(event -> event.userId)
                .connect(broadcastRules)
                .process(new RuleEvaluator())
                .print();

        env.execute("broadcast-rule-demo");
    }

    public static class RuleEvaluator
            extends KeyedBroadcastProcessFunction<String, Event, Rule, String> {

        @Override
        public void processBroadcastElement(
                Rule rule, Context ctx, Collector<String> out) throws Exception {
            // 只有广播输入这一侧可以修改规则状态。
            ctx.getBroadcastState(RULES).put(rule.id, rule);
        }

        @Override
        public void processElement(
                Event event, ReadOnlyContext ctx, Collector<String> out) throws Exception {
            // keyed 业务侧只能读取本地的广播规则副本。
            Rule rule = ctx.getBroadcastState(RULES).get(RULE_ID);
            if (rule != null && event.amount >= rule.threshold) {
                out.collect("alert user=" + event.userId
                        + " amount=" + event.amount
                        + " threshold=" + rule.threshold);
            }
        }
    }

    public static class Rule {
        public int id;
        public double threshold;

        public Rule() {}

        public Rule(int id, double threshold) {
            this.id = id;
            this.threshold = threshold;
        }
    }

    public static class Event {
        public String userId;
        public double amount;

        public Event() {}

        public Event(String userId, double amount) {
            this.userId = userId;
            this.amount = amount;
        }
    }
}

预期输出:当规则记录先于两条事件进入连接算子时,alice 命中阈值,bob 不输出。控制台前缀会因运行环境而不同。

text
alert user=alice amount=120.0 threshold=100.0

这个最小示例故意没有处理“业务事件先于第一条规则到达”的竞态。真实作业若不能接受空规则窗口,应在上游保证初始化顺序,或为规则增加版本与就绪机制,而不是依赖两个输入流偶然的调度顺序。

保持规则更新可重复

Broadcast State 要求所有并行实例最终得到相同的规则副本,因此广播侧的更新逻辑应当是确定性的。最稳妥的做法是让规则记录本身携带完整键和值,并执行 put、remove 这类由输入决定的操作。

不要在 processBroadcastElement 中使用本机时间、随机数或仅某个子任务可见的外部结果来决定状态内容。否则各实例即使收到相同规则记录,也可能写出不同状态,恢复后就难以保证一致行为。

checkpoint 与恢复时发生什么

Broadcast State 属于算子状态的一部分,会参与 checkpoint。检查点成功后,规则副本与同一作业中的 keyed state 一起获得一致的恢复点;任务失败时,Flink 从最近一次完成的 checkpoint 恢复状态,再继续处理后续数据。

这里的关键不是“广播后永远不会丢”,而是规则更新也处在状态快照边界内。只要规则处理逻辑保持确定性,并且作业从完成的 checkpoint 恢复,各并行实例就能重新建立一致的规则视图。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

使用 Broadcast State 分发规则

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通