大数据与流处理 / 系统课时

Filter 与 KeyBy

Filter 与 KeyBy

本课解决流处理中“哪些事件应继续计算”和“相同业务键如何进入同一计算分区”两个问题。完成后,你将能组合 FilterFunction 与 KeyBy,构建可按用户独立聚合的数据流。

学习目标

  • 使用 FilterFunction 保留满足业务条件的事件。
  • 理解 KeyBy 的逻辑分区规则及其与普通分组的区别。
  • 识别空键、热点键和并行度变化带来的边界问题。

先过滤再按键分区

filter 会为每条事件返回布尔值:true 表示保留,false 表示丢弃。应尽量在分区和有状态计算之前过滤无关数据,这样可以减少网络传输、状态规模和后续算子负载。

keyBy 根据键选择器计算事件所属的逻辑分区,并返回 KeyedStream。相同键会进入同一个并行子任务,后续状态和聚合也会按键隔离;不同键可能落到同一子任务,但不会共享同一份键控状态。

Filter 与 KeyBy 数据路由流程

构建按用户累计金额的流

下面的程序先过滤金额小于 100 的事件,再按 userId 分区,并对每个用户分别计算累计金额。示例使用并行度 1 以固定输出顺序,但 KeyBy 的按键隔离语义不变。

java
import org.apache.flink.api.common.functions.FilterFunction;
import org.apache.flink.api.common.functions.ReduceFunction;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.KeyedStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

public class FilterKeyByDemo {

    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env =
                StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);

        DataStream<Event> source = env.fromElements(
                new Event("u1", 120),
                new Event("u2", 200),
                new Event("u1", 60),
                new Event("u1", 150),
                new Event("u2", 110)
        );

        DataStream<Event> qualified = source.filter(
                new FilterFunction<Event>() {
                    @Override
                    public boolean filter(Event event) {
                        // 提前丢弃低金额事件,减少后续分区与状态开销。
                        return event.getAmount() >= 100;
                    }
                }
        );

        KeyedStream<Event, String> keyed =
                qualified.keyBy(Event::getUserId);

        DataStream<Event> runningTotal = keyed.reduce(
                new ReduceFunction<Event>() {
                    @Override
                    public Event reduce(Event left, Event right) {
                        // Reduce 只会合并相同 userId 的事件。
                        return new Event(
                                left.getUserId(),
                                left.getAmount() + right.getAmount()
                        );
                    }
                }
        );

        runningTotal.print();
        env.execute("filter-keyby-demo");
    }

    public static class Event {
        private String userId;
        private long amount;

        public Event() {
        }

        public Event(String userId, long amount) {
            this.userId = userId;
            this.amount = amount;
        }

        public String getUserId() {
            return userId;
        }

        public void setUserId(String userId) {
            this.userId = userId;
        }

        public long getAmount() {
            return amount;
        }

        public void setAmount(long amount) {
            this.amount = amount;
        }

        @Override
        public String toString() {
            return "Event{userId='" + userId + "', amount=" + amount + "}";
        }
    }
}

预期输出

text
Event{userId='u1', amount=120}
Event{userId='u2', amount=200}
Event{userId='u1', amount=270}
Event{userId='u2', amount=310}

第三条输入 u1,60 被过滤,因此不会参与累计。若提高并行度,不同键的输出顺序可能变化,但同一键的累计结果仍应保持独立。

关键边界与常见误区

KeyBy 不是把同一键的数据收集成一个列表,也不会自动排序。它只建立按键分区,为 reduce、窗口和键控状态等后续操作提供边界。

键值必须稳定且不能为空。若键字段缺失,应在 keyBy 前过滤、修复或转入异常流。键分布还要尽量均匀;少数热点键会让单个子任务过载,即使整体并行度很高也无法平均分摊。

生产环境修改并行度或最大并行度前,应结合检查点和状态兼容性评估重分配影响。验证时不仅要看最终结果,还应观察各子任务吞吐、反压和键分布。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

Filter 与 KeyBy

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通