大数据与流处理 / 系统课时

合并与连接数据流

合并与连接数据流

本课解决多个数据源如何进入同一条处理链的问题。你将区分 Union 与 Connect:前者合并相同类型的数据流,后者保留两侧类型并允许使用不同处理逻辑。

学习目标

  • 根据输入类型判断应使用 Union 还是 Connect
  • 使用 union 合并多个同类型来源
  • 使用 connect 和 CoMapFunction 处理两种输入

Union 与 Connect 的本质区别

Union 接收两个或更多类型兼容的 DataStream,返回同类型 DataStream。它只是把所有元素汇入同一条流,不做去重、关联或顺序保证。

Connect 一次连接两条流,两侧可以是不同类型,结果是 ConnectedStreams<IN1, IN2>。两种输入仍保留各自类型,需要通过 map、flatMap 或 process 分别处理后,才能得到普通输出流。

Union 与 Connect 的结构对比

选择时先看类型:同类型来源只需统一处理,优先 Union;类型不同,或两侧需要不同函数与共享状态,使用 Connect。

完整示例

下面先合并 App 与 Web 的订单编号,再连接整数类型的控制流。CoMapFunction 的 map1 处理合并后的字符串,map2 处理控制值。

java
package com.anystack.flink.datastream;

import org.apache.flink.streaming.api.functions.co.CoMapFunction;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

public class UnionConnectDemo {

    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env =
                StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);

        DataStream<String> appOrders =
                env.fromElements("app-A", "app-B");
        DataStream<String> webOrders =
                env.fromElements("web-C");

        // Union 要求元素类型兼容,结果仍然是 DataStream<String>。
        DataStream<String> mergedOrders = appOrders.union(webOrders);
        DataStream<Integer> controls = env.fromElements(10, 20);

        mergedOrders
                .connect(controls)
                .map(new CoMapFunction<String, Integer, String>() {
                    @Override
                    public String map1(String orderId) {
                        return "data:" + orderId;
                    }

                    @Override
                    public String map2(Integer threshold) {
                        return "control:" + threshold;
                    }
                })
                .print();

        env.execute("union-connect-demo");
    }
}

预期结果包含以下五行。来自不同输入的到达次序由运行时调度决定,因此实际打印顺序可能不同。

text
data:app-A
data:app-B
data:web-C
control:10
control:20

适用条件与常见误区

Union 可以连续合并多个流,但元素类型必须兼容。把同一条流与自身 union 会让每个元素出现两次;它不会自动消重,也不会按业务键匹配两侧记录。

Connect 不是 SQL Join。它允许两类事件进入同一个双输入算子,典型用途是“业务数据流加规则流”或“主数据流加控制流”。需要按相同业务键共享状态时,应先分别 keyBy,再连接,并使用双输入处理函数维护状态。

如果两侧最终只需执行完全相同的逻辑,可以先把它们转换为同一类型后再 Union,这样拓扑更简单;若强行使用 Connect,会增加两套入口逻辑和状态设计成本。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

合并与连接数据流

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通