大数据与流处理 / 系统课时

搭建 Flink 2.3 状态实验环境

搭建 Flink 2.3 状态实验环境

本课用 Java 17、Maven 和本地执行环境建立一个可重复运行的 Flink 2.3 项目。完成后可以编译并运行一个按 key 累计计数的有状态 DataStream 作业,同时打开 checkpoint,为后续状态与故障恢复实验提供统一基线。

学习目标

  • 创建使用 Java 17 与 Flink 2.3 的 Maven 项目
  • 运行一个包含 keyed 聚合与 checkpoint 配置的本地 DataStream 作业
  • 用构建结果和控制台输出确认实验环境可用

检查 Java 与 Maven

先确认终端使用的是 Java 17。Maven 只要能正常识别同一个 JDK,即可继续。

bash
java -version
mvn -version

预期输出

text
openjdk version "17.<PATCH>" ...
Apache Maven <VERSION>
Java version: 17.<PATCH> ...

<PATCH> 和 <VERSION> 会随本机安装版本变化;关键是 Java 主版本为 17,且 Maven 输出中的 Java version 也指向 17。

创建 Maven 工程

建立空目录,并按下面的 pom.xml 配置 Flink 2.3 依赖。这里把 Flink 依赖保留在本地运行时 classpath 中,便于直接使用 exec:java 启动作业。

xml
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>

  <groupId>dev.anystack</groupId>
  <artifactId>flink-state-lab</artifactId>
  <version>1.0.0</version>

  <properties>
    <maven.compiler.release>17</maven.compiler.release>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <flink.version>2.3.0</flink.version>
  </properties>

  <dependencies>
    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-streaming-java</artifactId>
      <version>${flink.version}</version>
    </dependency>
    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-clients</artifactId>
      <version>${flink.version}</version>
    </dependency>
  </dependencies>

  <build>
    <plugins>
      <plugin>
        <groupId>org.codehaus.mojo</groupId>
        <artifactId>exec-maven-plugin</artifactId>
        <version>3.5.0</version>
        <configuration>
          <mainClass>dev.anystack.StateLab</mainClass>
        </configuration>
      </plugin>
    </plugins>
  </build>
</project>

这份配置的验证标准是 Maven 能解析 org.apache.flink 依赖,并以 Java 17 编译源码。若后续要提交到独立 Flink 集群,再根据部署方式决定是否把 Flink 依赖改为 provided,本地实验阶段先不做这一步。

编写最小有状态作业

创建 src/main/java/dev/anystack/StateLab.java。示例把姓名作为 key,再用 sum(1) 累计每个 key 的出现次数;这个聚合算子需要保存跨记录的 keyed state。enableCheckpointing(1000) 同时打开周期性 checkpoint。

java
package dev.anystack;

import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

public class StateLab {
    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env =
                StreamExecutionEnvironment.getExecutionEnvironment();

        // 单并行度让本地实验输出顺序更容易观察。
        env.setParallelism(1);
        env.enableCheckpointing(1000);

        DataStream<Tuple2<String, Integer>> events = env.fromData(
                Tuple2.of("alice", 1),
                Tuple2.of("bob", 1),
                Tuple2.of("alice", 1),
                Tuple2.of("alice", 1),
                Tuple2.of("bob", 1));

        // 按姓名分区后,sum 会为每个 key 维护独立累计值。
        events
                .keyBy(value -> value.f0)
                .sum(1)
                .print();

        env.execute("flink-state-lab");
    }
}

预期输出

text
(alice,1)
(bob,1)
(alice,2)
(alice,3)
(bob,2)

本例输入是有限集合,通常会在真正触发周期 checkpoint 前结束,因此这里验证的是“Flink 2.3 本地环境、状态算子和 checkpoint 配置可以被正确创建”。后续使用持续输入源时,才会观察到周期 checkpoint 的完成与恢复过程。

编译并运行

在包含 pom.xml 的目录执行下面两条命令。第一次运行需要下载依赖,耗时取决于本地 Maven 缓存和网络。

bash
mvn -q -DskipTests package
mvn -q exec:java

预期输出

text
(alice,1)
(bob,1)
(alice,2)
(alice,3)
(bob,2)

如果构建失败并提示 release version 17 not supported,通常说明 Maven 实际使用的不是 Java 17;重新检查 mvn -version 比只看 java -version 更有效。若依赖解析失败,则先确认 Maven 仓库网络可达,再检查 flink.version 是否仍为 2.3.0。

验收实验基线

环境可用需要同时满足三件事:mvn package 成功、mvn exec:java 能启动本地作业、控制台出现按 key 递增的累计结果。只看到程序启动但没有累计值,还不能证明状态算子已经按预期执行。

完成这套基线后,后续实验就可以在同一个工程中替换状态类型、checkpoint 存储与故障注入方式,而不必反复重新搭建运行环境。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

搭建 Flink 2.3 状态实验环境

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通