大数据与流处理 / 系统课时

数据类型与序列化

数据类型与序列化

本课解决 DataStream 中“记录以什么结构流动、运行时怎样传输”的问题。你将认识基础类型、Flink 元组、POJO 与 TypeInformation,并通过可运行示例查看类型推断结果,理解类型设计为什么会影响网络传输、状态存储和作业性能。

学习目标

  • 选择适合 DataStream 记录的基础类型、元组或 POJO
  • 理解 TypeInformation 在类型推断和序列化中的作用
  • 识别触发通用序列化的常见写法并主动规避

Flink 为什么需要类型信息

Java 编译后会擦除大量泛型信息,而 Flink 在作业真正执行前就需要知道每条流的记录类型。框架会把推断结果保存为 TypeInformation,再据此创建序列化器、检查键字段,并规划网络传输和状态存储。

Flink 类型推断与序列化链路

类型信息不是普通的 Java Class。例如 List<String> 和 List<Long> 在运行时都可能只剩 List.class,但 Flink 需要保留元素类型,才能正确生成序列化器。

常用记录类型

基础类型适合单字段流,例如 String、Integer 和 Long。元组适合字段很少、只在局部流转的中间结果;Java API 提供 Tuple0 到 Tuple25,字段通过 f0、f1 等位置访问。

POJO 更适合业务事件。一个典型 Flink POJO 应是公开类,具有公开无参构造器,并让非静态、非瞬态字段保持公开且非 final,或者提供符合 JavaBean 规范的 getter 和 setter。字段有明确名称,可读性通常优于元组。

查看类型推断结果

下面的程序创建 POJO 数据流,再映射为 Tuple2。returns 显式补充输出类型,可避免复杂 Lambda 或泛型方法导致的类型推断失败。

java
import org.apache.flink.api.common.typeinfo.Types;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

public class TypeInformationDemo {

    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env =
                StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);

        DataStream<OrderEvent> events = env.fromData(
                new OrderEvent("A1001", 120),
                new OrderEvent("A1002", 80));

        // 显式声明 Lambda 输出类型,避免泛型擦除造成类型信息缺失
        DataStream<Tuple2<String, Integer>> labels = events
                .map(event -> Tuple2.of(event.orderId, event.amount))
                .returns(Types.TUPLE(Types.STRING, Types.INT));

        System.out.println("eventType="
                + events.getType().getTypeClass().getSimpleName());
        System.out.println("tupleType="
                + labels.getType().getTypeClass().getSimpleName());

        labels.print("orders");
        env.execute("type-information-demo");
    }

    public static class OrderEvent {
        public String orderId;
        public int amount;

        public OrderEvent() {
        }

        public OrderEvent(String orderId, int amount) {
            this.orderId = orderId;
            this.amount = amount;
        }
    }
}

预期输出如下。打印 Sink 的前缀可能因版本略有差异,但类型名称和元组内容应一致。

text
eventType=OrderEvent
tupleType=Tuple2
orders> (A1001,120)
orders> (A1002,80)

调用 getType() 适合在开发阶段确认推断结果。若实际显示为通用类型,或作业在提交阶段报告无法确定返回类型,应优先检查 POJO 结构和 Lambda 的输出类型。

序列化如何影响性能

数据跨算子网络传输、写入状态或进入检查点时,都需要序列化。基础类型、元组和可识别 POJO 通常能使用 Flink 针对结构生成的序列化器;无法识别的普通对象会被当作通用类型,并可能回退到 Kryo。

通用序列化并非一定错误,但框架无法充分理解对象字段,序列化开销、对象创建和兼容性风险通常更高。高吞吐或大状态作业中,这些差异会放大,因此应优先使用结构稳定且可被 Flink 识别的类型。

常见失误与修复

非静态内部类会隐式持有外部类引用,不适合作为 POJO;应改为顶层类或 public static 嵌套类。只有带参数构造器而没有公开无参构造器,也可能导致 POJO 识别失败。

Lambda 返回泛型容器、匿名类或层层包装的第三方类型时,类型推断容易丢失。可在算子后调用 returns(TypeInformation),或改用具名 MapFunction 明确输入和输出泛型。

不要只为“方便”把所有记录都包装成 Map<String, Object>。这种结构缺少固定字段和稳定类型,既不利于编译期检查,也容易让序列化和状态演进变得不可控。

类型设计检查清单

业务事件优先使用字段清晰的 POJO;短生命周期的两三个字段中间结果可以使用元组;固定单值使用基础类型。提交作业前通过 getType() 或作业计划检查类型是否符合预期,并对通用类型回退进行性能评估。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

数据类型与序列化

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通