大数据与流处理 / 系统课时
合并与连接数据流
合并与连接数据流
本课解决多个数据源如何进入同一条处理链的问题。你将区分 Union 与 Connect:前者合并相同类型的数据流,后者保留两侧类型并允许使用不同处理逻辑。
学习目标
- 根据输入类型判断应使用
Union还是Connect - 使用
union合并多个同类型来源 - 使用
connect和CoMapFunction处理两种输入
Union 与 Connect 的本质区别
Union 接收两个或更多类型兼容的 DataStream,返回同类型 DataStream。它只是把所有元素汇入同一条流,不做去重、关联或顺序保证。
Connect 一次连接两条流,两侧可以是不同类型,结果是 ConnectedStreams<IN1, IN2>。两种输入仍保留各自类型,需要通过 map、flatMap 或 process 分别处理后,才能得到普通输出流。

选择时先看类型:同类型来源只需统一处理,优先 Union;类型不同,或两侧需要不同函数与共享状态,使用 Connect。
完整示例
下面先合并 App 与 Web 的订单编号,再连接整数类型的控制流。CoMapFunction 的 map1 处理合并后的字符串,map2 处理控制值。
java
package com.anystack.flink.datastream;
import org.apache.flink.streaming.api.functions.co.CoMapFunction;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
public class UnionConnectDemo {
public static void main(String[] args) throws Exception {
StreamExecutionEnvironment env =
StreamExecutionEnvironment.getExecutionEnvironment();
env.setParallelism(1);
DataStream<String> appOrders =
env.fromElements("app-A", "app-B");
DataStream<String> webOrders =
env.fromElements("web-C");
// Union 要求元素类型兼容,结果仍然是 DataStream<String>。
DataStream<String> mergedOrders = appOrders.union(webOrders);
DataStream<Integer> controls = env.fromElements(10, 20);
mergedOrders
.connect(controls)
.map(new CoMapFunction<String, Integer, String>() {
@Override
public String map1(String orderId) {
return "data:" + orderId;
}
@Override
public String map2(Integer threshold) {
return "control:" + threshold;
}
})
.print();
env.execute("union-connect-demo");
}
}预期结果包含以下五行。来自不同输入的到达次序由运行时调度决定,因此实际打印顺序可能不同。
text
data:app-A
data:app-B
data:web-C
control:10
control:20适用条件与常见误区
Union 可以连续合并多个流,但元素类型必须兼容。把同一条流与自身 union 会让每个元素出现两次;它不会自动消重,也不会按业务键匹配两侧记录。
Connect 不是 SQL Join。它允许两类事件进入同一个双输入算子,典型用途是“业务数据流加规则流”或“主数据流加控制流”。需要按相同业务键共享状态时,应先分别 keyBy,再连接,并使用双输入处理函数维护状态。
如果两侧最终只需执行完全相同的逻辑,可以先把它们转换为同一类型后再 Union,这样拓扑更简单;若强行使用 Connect,会增加两套入口逻辑和状态设计成本。
按自己的节奏,确认真正理解。