大数据与流处理 / 系统课时
搭建 Flink 2.3 状态实验环境
搭建 Flink 2.3 状态实验环境
本课用 Java 17、Maven 和本地执行环境建立一个可重复运行的 Flink 2.3 项目。完成后可以编译并运行一个按 key 累计计数的有状态 DataStream 作业,同时打开 checkpoint,为后续状态与故障恢复实验提供统一基线。
学习目标
- 创建使用 Java 17 与 Flink 2.3 的 Maven 项目
- 运行一个包含 keyed 聚合与 checkpoint 配置的本地 DataStream 作业
- 用构建结果和控制台输出确认实验环境可用
检查 Java 与 Maven
先确认终端使用的是 Java 17。Maven 只要能正常识别同一个 JDK,即可继续。
java -version
mvn -version预期输出
openjdk version "17.<PATCH>" ...
Apache Maven <VERSION>
Java version: 17.<PATCH> ...<PATCH> 和 <VERSION> 会随本机安装版本变化;关键是 Java 主版本为 17,且 Maven 输出中的 Java version 也指向 17。
创建 Maven 工程
建立空目录,并按下面的 pom.xml 配置 Flink 2.3 依赖。这里把 Flink 依赖保留在本地运行时 classpath 中,便于直接使用 exec:java 启动作业。
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>dev.anystack</groupId>
<artifactId>flink-state-lab</artifactId>
<version>1.0.0</version>
<properties>
<maven.compiler.release>17</maven.compiler.release>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
<flink.version>2.3.0</flink.version>
</properties>
<dependencies>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-streaming-java</artifactId>
<version>${flink.version}</version>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-clients</artifactId>
<version>${flink.version}</version>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.codehaus.mojo</groupId>
<artifactId>exec-maven-plugin</artifactId>
<version>3.5.0</version>
<configuration>
<mainClass>dev.anystack.StateLab</mainClass>
</configuration>
</plugin>
</plugins>
</build>
</project>这份配置的验证标准是 Maven 能解析 org.apache.flink 依赖,并以 Java 17 编译源码。若后续要提交到独立 Flink 集群,再根据部署方式决定是否把 Flink 依赖改为 provided,本地实验阶段先不做这一步。
编写最小有状态作业
创建 src/main/java/dev/anystack/StateLab.java。示例把姓名作为 key,再用 sum(1) 累计每个 key 的出现次数;这个聚合算子需要保存跨记录的 keyed state。enableCheckpointing(1000) 同时打开周期性 checkpoint。
package dev.anystack;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
public class StateLab {
public static void main(String[] args) throws Exception {
StreamExecutionEnvironment env =
StreamExecutionEnvironment.getExecutionEnvironment();
// 单并行度让本地实验输出顺序更容易观察。
env.setParallelism(1);
env.enableCheckpointing(1000);
DataStream<Tuple2<String, Integer>> events = env.fromData(
Tuple2.of("alice", 1),
Tuple2.of("bob", 1),
Tuple2.of("alice", 1),
Tuple2.of("alice", 1),
Tuple2.of("bob", 1));
// 按姓名分区后,sum 会为每个 key 维护独立累计值。
events
.keyBy(value -> value.f0)
.sum(1)
.print();
env.execute("flink-state-lab");
}
}预期输出
(alice,1)
(bob,1)
(alice,2)
(alice,3)
(bob,2)本例输入是有限集合,通常会在真正触发周期 checkpoint 前结束,因此这里验证的是“Flink 2.3 本地环境、状态算子和 checkpoint 配置可以被正确创建”。后续使用持续输入源时,才会观察到周期 checkpoint 的完成与恢复过程。
编译并运行
在包含 pom.xml 的目录执行下面两条命令。第一次运行需要下载依赖,耗时取决于本地 Maven 缓存和网络。
mvn -q -DskipTests package
mvn -q exec:java预期输出
(alice,1)
(bob,1)
(alice,2)
(alice,3)
(bob,2)如果构建失败并提示 release version 17 not supported,通常说明 Maven 实际使用的不是 Java 17;重新检查 mvn -version 比只看 java -version 更有效。若依赖解析失败,则先确认 Maven 仓库网络可达,再检查 flink.version 是否仍为 2.3.0。
验收实验基线
环境可用需要同时满足三件事:mvn package 成功、mvn exec:java 能启动本地作业、控制台出现按 key 递增的累计结果。只看到程序启动但没有累计值,还不能证明状态算子已经按预期执行。
完成这套基线后,后续实验就可以在同一个工程中替换状态类型、checkpoint 存储与故障注入方式,而不必反复重新搭建运行环境。