大数据与流处理 / 系统课时

测试算子逻辑

测试算子逻辑

本课通过一个可直接运行的 Maven 测试项目,验证 Map、Filter、聚合和自定义业务函数。重点是不启动集群也能快速覆盖确定性逻辑,并明确何时需要升级为 Flink 运行时测试。

学习目标

  • 为常见算子函数编写相互隔离的 JUnit 5 测试
  • 验证正常输入、边界输入、累加过程和异常分支
  • 判断直接单元测试与 MiniCluster 集成测试的使用边界

确定测试边界

无状态 Map、Filter 和纯业务函数可以直接实例化后调用方法,测试速度快、失败定位准确。AggregateFunction 还应按 createAccumulator、add、merge 和 getResult 的生命周期验证累加器,而不是只断言最终值。

涉及托管状态、定时器、Watermark、Checkpoint、算子并行度或连接器交互时,直接调用函数已经不能覆盖 Flink 运行时行为,应改用测试工具或 MiniCluster。官方 flink-test-utils 模块提供可在 JUnit 中运行作业的轻量 MiniCluster。:contentReference[oaicite:5]{index=5}

准备 Maven 项目

创建空目录,并保存下面的 pom.xml。示例使用 Java 17、Flink 2.3.0 和 JUnit 5;实际项目应让测试依赖版本与生产作业保持一致。

xml
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>cn.anystack.flink</groupId>
    <artifactId>operator-logic-test</artifactId>
    <version>1.0.0</version>

    <properties>
        <maven.compiler.release>17</maven.compiler.release>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <flink.version>2.3.0</flink.version>
        <junit.version>5.11.4</junit.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.junit.jupiter</groupId>
            <artifactId>junit-jupiter</artifactId>
            <version>${junit.version}</version>
            <scope>test</scope>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-surefire-plugin</artifactId>
                <version>3.5.2</version>
            </plugin>
        </plugins>
    </build>
</project>

将测试类放到 src/test/java/OperatorLogicTest.java。四组测试分别覆盖字符串标准化、正数过滤、平均值聚合和折扣参数校验。

编写并运行测试

java
import org.apache.flink.api.common.functions.AggregateFunction;
import org.apache.flink.api.common.functions.FilterFunction;
import org.apache.flink.api.common.functions.MapFunction;
import org.junit.jupiter.api.Test;

import static org.junit.jupiter.api.Assertions.assertEquals;
import static org.junit.jupiter.api.Assertions.assertFalse;
import static org.junit.jupiter.api.Assertions.assertThrows;
import static org.junit.jupiter.api.Assertions.assertTrue;

class OperatorLogicTest {

    static final class NormalizeMap implements MapFunction<String, String> {
        @Override
        public String map(String value) {
            return value.trim().toUpperCase();
        }
    }

    static final class PositiveFilter implements FilterFunction<Integer> {
        @Override
        public boolean filter(Integer value) {
            return value != null && value > 0;
        }
    }

    static final class AverageAggregate
            implements AggregateFunction<Integer, long[], Double> {

        @Override
        public long[] createAccumulator() {
            return new long[]{0L, 0L};
        }

        @Override
        public long[] add(Integer value, long[] accumulator) {
            accumulator[0] += value;
            accumulator[1]++;
            return accumulator;
        }

        @Override
        public Double getResult(long[] accumulator) {
            return accumulator[1] == 0
                    ? 0.0
                    : (double) accumulator[0] / accumulator[1];
        }

        @Override
        public long[] merge(long[] left, long[] right) {
            return new long[]{
                    left[0] + right[0],
                    left[1] + right[1]
            };
        }
    }

    static final class DiscountFunction {
        long finalPrice(long cents, int discountPercent) {
            if (cents < 0 || discountPercent < 0 || discountPercent > 100) {
                throw new IllegalArgumentException("invalid price or discount");
            }
            return cents * (100 - discountPercent) / 100;
        }
    }

    @Test
    void map_should_trim_and_uppercase() throws Exception {
        assertEquals("FLINK", new NormalizeMap().map("  flink "));
    }

    @Test
    void filter_should_keep_only_positive_values() throws Exception {
        PositiveFilter filter = new PositiveFilter();
        assertTrue(filter.filter(3));
        assertFalse(filter.filter(0));
        assertFalse(filter.filter(null));
    }

    @Test
    void aggregate_should_calculate_average() {
        AverageAggregate aggregate = new AverageAggregate();
        long[] accumulator = aggregate.createAccumulator();
        accumulator = aggregate.add(10, accumulator);
        accumulator = aggregate.add(20, accumulator);

        assertEquals(15.0, aggregate.getResult(accumulator));
    }

    @Test
    void custom_function_should_validate_discount_range() {
        DiscountFunction function = new DiscountFunction();

        assertEquals(800L, function.finalPrice(1000L, 20));
        assertThrows(
                IllegalArgumentException.class,
                () -> function.finalPrice(1000L, 101)
        );
    }
}

在项目根目录执行测试。

bash
mvn test

预期输出

text
[INFO] Tests run: 4, Failures: 0, Errors: 0, Skipped: 0
[INFO] BUILD SUCCESS

Maven 下载依赖时会出现额外日志,版本和耗时也可能不同;验收标准是四个测试全部执行且没有失败或错误。

提高测试有效性

一个测试只验证一个行为,并给方法名写清输入条件和预期结果。对 Map、Filter 和业务函数至少覆盖正常值与边界值;对聚合函数还应测试空累加器、merge 结果和大数范围,避免仅用一组样例制造“看起来通过”的测试。

不要在单元测试里连接真实 Kafka、数据库或远程服务。外部依赖应替换为可控测试替身;需要验证完整拓扑、状态恢复或序列化兼容性时,再使用 MiniCluster 做较慢的集成测试,并把它与毫秒级的纯函数测试分开执行。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

测试算子逻辑

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通