大数据与流处理 / 系统课时
侧输出流
侧输出流
侧输出流解决“同一条输入需要被分到不同结果通道”的问题。本课使用 OutputTag 把合法订单保留在主流,把格式错误和金额异常的数据送入独立流,并说明迟到数据分流时的关键边界。
学习目标
- 理解主输出与侧输出的关系及适用场景
- 使用
OutputTag和ProcessFunction输出、获取侧输出流 - 识别类型声明、标签复用和迟到数据处理中的常见错误
侧输出流的分流模型
普通 filter 往往需要复制同一条流并执行多次判断;侧输出则在一次算子调用中同时产生主结果和附加结果。主流类型由算子的输出类型决定,每个侧输出由独立的 OutputTag<T> 标识,因此异常数据、审计事件和不同类型结果可以分别进入不同下游。
OutputTag 同时承担名称与类型标识。Java 中通常使用匿名内部类保留泛型信息,并在输出与获取侧流时复用同一个标签对象,避免类型推断或标签不一致导致取不到数据。

使用 OutputTag 分流异常数据
下面的完整程序读取三条文本订单。合法数据输出为 订单号:金额,格式错误或金额小于等于零的数据通过同一个异常标签进入侧输出流。
java
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.ProcessFunction;
import org.apache.flink.util.Collector;
import org.apache.flink.util.OutputTag;
public class SideOutputDemo {
// 匿名内部类用于保留 String 的类型信息。
private static final OutputTag<String> INVALID_TAG =
new OutputTag<String>("invalid-data") {};
public static void main(String[] args) throws Exception {
StreamExecutionEnvironment env =
StreamExecutionEnvironment.getExecutionEnvironment();
env.setParallelism(1);
DataStream<String> source = env.fromElements(
"order-100,88",
"bad-line",
"order-101,-1"
);
SingleOutputStreamOperator<String> validOrders =
source.process(new ProcessFunction<String, String>() {
@Override
public void processElement(
String value,
Context ctx,
Collector<String> out) {
String[] fields = value.split(",");
if (fields.length != 2) {
ctx.output(INVALID_TAG, "format-error:" + value);
return;
}
try {
long amount = Long.parseLong(fields[1]);
if (amount > 0) {
out.collect(fields[0] + ":" + amount);
} else {
ctx.output(INVALID_TAG, "amount-error:" + value);
}
} catch (NumberFormatException e) {
ctx.output(INVALID_TAG, "number-error:" + value);
}
}
});
DataStream<String> invalidOrders =
validOrders.getSideOutput(INVALID_TAG);
validOrders.print("valid");
invalidOrders.print("invalid");
env.execute("side-output-demo");
}
}预期输出如下,<ID> 表示运行时分配的并行子任务编号,实际行顺序可能因不同输出通道的调度而变化。
text
valid:<ID>> order-100:88
invalid:<ID>> format-error:bad-line
invalid:<ID>> amount-error:order-101,-1使用边界与验证方法
侧输出适合“单次处理、多路结果”的场景,例如脏数据隔离、告警事件、审计记录和窗口迟到数据。若只是把同类型数据稳定拆成少量固定分支,侧输出与普通过滤都能实现;当分支类型不同或希望避免重复计算时,侧输出更直接。
窗口场景中的迟到数据通常由窗口算子配置允许迟到时间和迟到数据标签,再通过 getSideOutput 获取。侧输出不会自动落盘或告警,仍需为它配置打印、消息队列、文件或数据库等下游,并通过计数指标确认异常数据没有被静默丢弃。
常见错误
- 创建两个名称相同但类型或实例不同的标签,导致获取侧流时行为不符合预期;应集中定义并复用标签。
- 在普通
map或filter中尝试调用侧输出;应使用提供上下文对象的处理函数或支持侧输出的窗口函数。 - 只定义
OutputTag却没有调用ctx.output,或者输出后没有为侧流配置下游,最终看不到任何处理结果。 - 让异常侧流无限堆积而不设置容量、告警和保留策略;生产环境应把异常率纳入监控并限制重试风暴。
按自己的节奏,确认真正理解。