大数据与流处理 / 系统课时
使用 Broadcast State 分发规则
使用 Broadcast State 分发规则
当规则会动态变化、又必须被每个并行算子实例一致读取时,Broadcast State 可以把规则流复制到所有下游实例,并让业务事件按 key 处理。本文用一个金额阈值规则示例串起广播、读取、快照与恢复的完整路径。
学习目标
- 能用
MapStateDescriptor、broadcast和KeyedBroadcastProcessFunction建立规则广播链路。 - 能区分广播侧的可写状态与业务数据侧的只读视图。
- 能说明 Broadcast State 如何随 checkpoint 一起恢复,以及规则处理为什么要保持确定性。
广播规则是怎样进入每个并行实例的
业务流通常需要按业务键分区,而规则流的诉求不同:同一条规则要送到每个下游并行实例。调用 broadcast 后,规则记录会被复制到连接算子的所有并行子任务;每个子任务维护一份逻辑相同的 Broadcast State。

这里有两个权限边界。processBroadcastElement 处理广播规则,可以通过 Context 修改 Broadcast State;processElement 处理 keyed 业务数据,只能通过 ReadOnlyContext 读取它。这样可以避免普通数据流在不同并行实例上任意改写规则副本。
用 KeyedBroadcastProcessFunction 匹配规则
下面的主示例维护一条全局阈值规则:金额达到阈值时输出告警。代码假设项目已经包含与集群版本匹配的 Flink DataStream 依赖。
import org.apache.flink.api.common.state.MapStateDescriptor;
import org.apache.flink.streaming.api.datastream.BroadcastStream;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.co.KeyedBroadcastProcessFunction;
import org.apache.flink.util.Collector;
public class BroadcastRuleDemo {
private static final int RULE_ID = 1;
// 描述广播状态的键和值类型,广播端与读取端必须复用同一描述符。
private static final MapStateDescriptor<Integer, Rule> RULES =
new MapStateDescriptor<>("rules", Integer.class, Rule.class);
public static void main(String[] args) throws Exception {
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.setParallelism(1);
DataStream<Rule> ruleStream = env.fromElements(new Rule(RULE_ID, 100.0));
DataStream<Event> eventStream = env.fromElements(
new Event("alice", 120.0),
new Event("bob", 80.0)
);
// 规则流复制到所有下游并行实例,业务流仍按 userId 分区。
BroadcastStream<Rule> broadcastRules = ruleStream.broadcast(RULES);
eventStream
.keyBy(event -> event.userId)
.connect(broadcastRules)
.process(new RuleEvaluator())
.print();
env.execute("broadcast-rule-demo");
}
public static class RuleEvaluator
extends KeyedBroadcastProcessFunction<String, Event, Rule, String> {
@Override
public void processBroadcastElement(
Rule rule, Context ctx, Collector<String> out) throws Exception {
// 只有广播输入这一侧可以修改规则状态。
ctx.getBroadcastState(RULES).put(rule.id, rule);
}
@Override
public void processElement(
Event event, ReadOnlyContext ctx, Collector<String> out) throws Exception {
// keyed 业务侧只能读取本地的广播规则副本。
Rule rule = ctx.getBroadcastState(RULES).get(RULE_ID);
if (rule != null && event.amount >= rule.threshold) {
out.collect("alert user=" + event.userId
+ " amount=" + event.amount
+ " threshold=" + rule.threshold);
}
}
}
public static class Rule {
public int id;
public double threshold;
public Rule() {}
public Rule(int id, double threshold) {
this.id = id;
this.threshold = threshold;
}
}
public static class Event {
public String userId;
public double amount;
public Event() {}
public Event(String userId, double amount) {
this.userId = userId;
this.amount = amount;
}
}
}预期输出:当规则记录先于两条事件进入连接算子时,alice 命中阈值,bob 不输出。控制台前缀会因运行环境而不同。
alert user=alice amount=120.0 threshold=100.0这个最小示例故意没有处理“业务事件先于第一条规则到达”的竞态。真实作业若不能接受空规则窗口,应在上游保证初始化顺序,或为规则增加版本与就绪机制,而不是依赖两个输入流偶然的调度顺序。
保持规则更新可重复
Broadcast State 要求所有并行实例最终得到相同的规则副本,因此广播侧的更新逻辑应当是确定性的。最稳妥的做法是让规则记录本身携带完整键和值,并执行 put、remove 这类由输入决定的操作。
不要在 processBroadcastElement 中使用本机时间、随机数或仅某个子任务可见的外部结果来决定状态内容。否则各实例即使收到相同规则记录,也可能写出不同状态,恢复后就难以保证一致行为。
checkpoint 与恢复时发生什么
Broadcast State 属于算子状态的一部分,会参与 checkpoint。检查点成功后,规则副本与同一作业中的 keyed state 一起获得一致的恢复点;任务失败时,Flink 从最近一次完成的 checkpoint 恢复状态,再继续处理后续数据。
这里的关键不是“广播后永远不会丢”,而是规则更新也处在状态快照边界内。只要规则处理逻辑保持确定性,并且作业从完成的 checkpoint 恢复,各并行实例就能重新建立一致的规则视图。