大数据与流处理 / 系统课时
测试算子逻辑
测试算子逻辑
本课通过一个可直接运行的 Maven 测试项目,验证 Map、Filter、聚合和自定义业务函数。重点是不启动集群也能快速覆盖确定性逻辑,并明确何时需要升级为 Flink 运行时测试。
学习目标
- 为常见算子函数编写相互隔离的 JUnit 5 测试
- 验证正常输入、边界输入、累加过程和异常分支
- 判断直接单元测试与 MiniCluster 集成测试的使用边界
确定测试边界
无状态 Map、Filter 和纯业务函数可以直接实例化后调用方法,测试速度快、失败定位准确。AggregateFunction 还应按 createAccumulator、add、merge 和 getResult 的生命周期验证累加器,而不是只断言最终值。
涉及托管状态、定时器、Watermark、Checkpoint、算子并行度或连接器交互时,直接调用函数已经不能覆盖 Flink 运行时行为,应改用测试工具或 MiniCluster。官方 flink-test-utils 模块提供可在 JUnit 中运行作业的轻量 MiniCluster。:contentReference[oaicite:5]{index=5}
准备 Maven 项目
创建空目录,并保存下面的 pom.xml。示例使用 Java 17、Flink 2.3.0 和 JUnit 5;实际项目应让测试依赖版本与生产作业保持一致。
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>cn.anystack.flink</groupId>
<artifactId>operator-logic-test</artifactId>
<version>1.0.0</version>
<properties>
<maven.compiler.release>17</maven.compiler.release>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
<flink.version>2.3.0</flink.version>
<junit.version>5.11.4</junit.version>
</properties>
<dependencies>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-streaming-java</artifactId>
<version>${flink.version}</version>
</dependency>
<dependency>
<groupId>org.junit.jupiter</groupId>
<artifactId>junit-jupiter</artifactId>
<version>${junit.version}</version>
<scope>test</scope>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-surefire-plugin</artifactId>
<version>3.5.2</version>
</plugin>
</plugins>
</build>
</project>将测试类放到 src/test/java/OperatorLogicTest.java。四组测试分别覆盖字符串标准化、正数过滤、平均值聚合和折扣参数校验。
编写并运行测试
import org.apache.flink.api.common.functions.AggregateFunction;
import org.apache.flink.api.common.functions.FilterFunction;
import org.apache.flink.api.common.functions.MapFunction;
import org.junit.jupiter.api.Test;
import static org.junit.jupiter.api.Assertions.assertEquals;
import static org.junit.jupiter.api.Assertions.assertFalse;
import static org.junit.jupiter.api.Assertions.assertThrows;
import static org.junit.jupiter.api.Assertions.assertTrue;
class OperatorLogicTest {
static final class NormalizeMap implements MapFunction<String, String> {
@Override
public String map(String value) {
return value.trim().toUpperCase();
}
}
static final class PositiveFilter implements FilterFunction<Integer> {
@Override
public boolean filter(Integer value) {
return value != null && value > 0;
}
}
static final class AverageAggregate
implements AggregateFunction<Integer, long[], Double> {
@Override
public long[] createAccumulator() {
return new long[]{0L, 0L};
}
@Override
public long[] add(Integer value, long[] accumulator) {
accumulator[0] += value;
accumulator[1]++;
return accumulator;
}
@Override
public Double getResult(long[] accumulator) {
return accumulator[1] == 0
? 0.0
: (double) accumulator[0] / accumulator[1];
}
@Override
public long[] merge(long[] left, long[] right) {
return new long[]{
left[0] + right[0],
left[1] + right[1]
};
}
}
static final class DiscountFunction {
long finalPrice(long cents, int discountPercent) {
if (cents < 0 || discountPercent < 0 || discountPercent > 100) {
throw new IllegalArgumentException("invalid price or discount");
}
return cents * (100 - discountPercent) / 100;
}
}
@Test
void map_should_trim_and_uppercase() throws Exception {
assertEquals("FLINK", new NormalizeMap().map(" flink "));
}
@Test
void filter_should_keep_only_positive_values() throws Exception {
PositiveFilter filter = new PositiveFilter();
assertTrue(filter.filter(3));
assertFalse(filter.filter(0));
assertFalse(filter.filter(null));
}
@Test
void aggregate_should_calculate_average() {
AverageAggregate aggregate = new AverageAggregate();
long[] accumulator = aggregate.createAccumulator();
accumulator = aggregate.add(10, accumulator);
accumulator = aggregate.add(20, accumulator);
assertEquals(15.0, aggregate.getResult(accumulator));
}
@Test
void custom_function_should_validate_discount_range() {
DiscountFunction function = new DiscountFunction();
assertEquals(800L, function.finalPrice(1000L, 20));
assertThrows(
IllegalArgumentException.class,
() -> function.finalPrice(1000L, 101)
);
}
}在项目根目录执行测试。
mvn test预期输出
[INFO] Tests run: 4, Failures: 0, Errors: 0, Skipped: 0
[INFO] BUILD SUCCESSMaven 下载依赖时会出现额外日志,版本和耗时也可能不同;验收标准是四个测试全部执行且没有失败或错误。
提高测试有效性
一个测试只验证一个行为,并给方法名写清输入条件和预期结果。对 Map、Filter 和业务函数至少覆盖正常值与边界值;对聚合函数还应测试空累加器、merge 结果和大数范围,避免仅用一组样例制造“看起来通过”的测试。
不要在单元测试里连接真实 Kafka、数据库或远程服务。外部依赖应替换为可控测试替身;需要验证完整拓扑、状态恢复或序列化兼容性时,再使用 MiniCluster 做较慢的集成测试,并把它与毫秒级的纯函数测试分开执行。