大数据与流处理 / 系统课时

集成测试数据链路

集成测试数据链路

单个算子通过测试并不代表整条作业可用。本课在本地 MiniCluster 中运行文件源、解析逻辑和文件目标端,用固定输入验证连接器读取、UTF-8 序列化、异常数据处理及最终输出。

学习目标

  • 使用 MiniCluster 执行接近真实运行方式的 Flink 作业
  • 构造可重复的源端数据和可检查的目标端
  • 从连接器、序列化和结果三个层次定位集成测试失败

设计可控测试链路

集成测试应保留真实 Flink 调度和连接器代码,同时把外部依赖缩小到测试可控制的范围。文件连接器适合建立最小链路:测试前写入固定 UTF-8 文件,作业通过 FileSource 读取,处理后由 FileSink 写入临时目录。

源端输入、并行度、字符集和目标目录都必须由测试创建,不能读取开发机上的固定路径。测试结束后由 JUnit 临时目录自动清理,避免上次运行的文件污染本次断言。

Flink 可控集成测试数据链路

文件链路不能替代 Kafka、JDBC 等生产连接器的专项测试,但它能先证明作业拓扑、序列化约定和输出断言方式正确。接入真实中间件时,可保留同一测试结构,把源端和目标端替换为 Testcontainers 管理的服务。

下面的片段示例补充文件连接器和测试工具。${flink.version} 应与生产依赖一致,避免测试环境和部署环境使用不同的序列化或运行时实现。

xml
<dependencies>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-connector-files</artifactId>
        <version>${flink.version}</version>
    </dependency>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-test-utils</artifactId>
        <version>${flink.version}</version>
        <scope>test</scope>
    </dependency>
    <dependency>
        <groupId>org.junit.jupiter</groupId>
        <artifactId>junit-jupiter</artifactId>
        <version>5.11.4</version>
        <scope>test</scope>
    </dependency>
</dependencies>

本例输入两条合法订单和一条坏数据。验收结果只允许出现 u1|1250 与 u2|700,既要证明金额转换正确,也要证明无效行没有进入目标端。

主示例:运行文件源到文件目标端

测试使用 JUnit 5 的 MiniClusterExtension。FileSource 负责按 UTF-8 文本行读取,NormalizeOrder 校验 CSV 并把元金额转换为整数分,FileSink 再用 UTF-8 写入临时输出目录。

java
import org.apache.flink.api.common.serialization.SimpleStringEncoder;
import org.apache.flink.api.common.typeinfo.Types;
import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.connector.file.sink.FileSink;
import org.apache.flink.connector.file.src.FileSource;
import org.apache.flink.connector.file.src.reader.TextLineInputFormat;
import org.apache.flink.core.fs.Path;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.api.common.eventtime.WatermarkStrategy;
import org.apache.flink.test.junit5.MiniClusterExtension;
import org.apache.flink.util.Collector;
import org.junit.jupiter.api.Test;
import org.junit.jupiter.api.extension.ExtendWith;
import org.junit.jupiter.api.io.TempDir;

import java.math.BigDecimal;
import java.nio.charset.StandardCharsets;
import java.nio.file.Files;
import java.util.List;
import java.util.stream.Stream;

import static org.junit.jupiter.api.Assertions.assertEquals;

@ExtendWith(MiniClusterExtension.class)
class FilePipelineIntegrationTest {

    @TempDir
    java.nio.file.Path tempDir;

    static final class NormalizeOrder
            implements FlatMapFunction<String, String> {

        @Override
        public void flatMap(String line, Collector<String> out) {
            String[] fields = line.split(",", -1);
            if (fields.length != 2 || fields[0].isBlank()) {
                return;
            }

            try {
                long cents = new BigDecimal(fields[1])
                        .movePointRight(2)
                        .longValueExact();
                out.collect(fields[0] + "|" + cents);
            } catch (ArithmeticException | NumberFormatException ignored) {
                // 集成测试约定:格式错误或无法精确转换为整数分的数据不进入目标端。
            }
        }
    }

    @Test
    void readsTransformsAndWritesWithRealFileConnectors() throws Exception {
        java.nio.file.Path input = tempDir.resolve("orders.csv");
        java.nio.file.Path output = tempDir.resolve("result");

        Files.write(
                input,
                List.of("u1,12.50", "bad-line", "u2,7.00"),
                StandardCharsets.UTF_8);

        FileSource<String> source = FileSource
                .forRecordStreamFormat(
                        new TextLineInputFormat(),
                        new Path(input.toUri()))
                .build();

        FileSink<String> sink = FileSink
                .forRowFormat(
                        new Path(output.toUri()),
                        new SimpleStringEncoder<String>("UTF-8"))
                .build();

        StreamExecutionEnvironment env =
                StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);

        env.fromSource(
                        source,
                        WatermarkStrategy.noWatermarks(),
                        "controlled-file-source")
                .flatMap(new NormalizeOrder())
                .returns(Types.STRING)
                .sinkTo(sink)
                .name("controlled-file-sink");

        env.execute("file-pipeline-integration-test");

        List<String> actual;
        try (Stream<java.nio.file.Path> files = Files.walk(output)) {
            actual = files
                    .filter(Files::isRegularFile)
                    .filter(path -> {
                        String name = path.getFileName().toString();
                        return !name.startsWith(".") && !name.startsWith("_");
                    })
                    .flatMap(path -> {
                        try {
                            return Files.readAllLines(
                                    path, StandardCharsets.UTF_8).stream();
                        } catch (Exception e) {
                            throw new RuntimeException(e);
                        }
                    })
                    .sorted()
                    .toList();
        }

        System.out.println(actual);
        assertEquals(List.of("u1|1250", "u2|700"), actual);
    }
}

执行测试:

bash
mvn -Dtest=FilePipelineIntegrationTest test

预期输出:

text
[u1|1250, u2|700]
Tests run: 1, Failures: 0, Errors: 0, Skipped: 0
BUILD SUCCESS

输出文件名通常包含运行时生成的 <ID>,因此不要断言具体文件名。应读取目标目录中的有效数据文件,再对记录排序后比较;并行度大于 1 时尤其不能依赖分片文件顺序。

失败定位与扩展方式

若源端没有数据,先检查输入文件是否在 env.execute 前创建、URI 是否正确以及文件字符集是否一致。若作业成功但目标目录为空,检查 sinkTo 是否连接到同一条流,以及有界作业是否正常结束并提交文件。

若输出出现乱码或金额错误,应分别验证源端解码字符集、字段切分规则和目标端编码。不要只比较目标文件大小,因为错误序列化也可能产生非空文件。

替换为 Kafka 或 JDBC 时,继续保持固定输入和最终结果断言,并使用随机端口、独立 Topic 或临时 Schema。外部服务应由测试生命周期创建和销毁,不要复用共享测试环境,否则并行执行容易串数据。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

集成测试数据链路

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通