大数据与流处理 / 系统课时

创建 Maven 项目

创建 Maven 项目

本课将从空目录搭建一个可编译、可打包的 Flink Java 工程。完成后,你会得到统一的 Maven 依赖、构建插件和标准源码目录,为后续编写与运行 DataStream 作业准备好稳定的项目骨架。

学习目标

  • 创建符合 Maven 约定的 Flink Java 项目目录
  • 配置 Flink 2.3.0 依赖、Java 17 编译参数和运行插件
  • 使用 Maven 完成依赖解析、编译、测试与打包验证

前置检查

本课统一使用 Java 17、Maven 3.8.6 或更高版本,以及 Flink 2.3.0。先确认命令行能够找到正确的 JDK 和 Maven,避免项目创建后才处理环境变量或版本不匹配问题。

bash
java -version
mvn -version

预期输出中的补丁版本、安装路径和操作系统信息可能不同,但 Java 主版本应为 17,Maven 版本不应低于 3.8.6。

text
openjdk version "17.<ID>"
Apache Maven 3.<ID>
Java home: <PATH>

若系统显示了其他 Java 版本,应先调整 JAVA_HOME 和 PATH,再重新执行检查。不要仅修改 IDE 的项目 SDK,因为 Maven 命令仍可能使用另一套 JDK。

创建项目目录

Maven 使用固定目录约定区分生产代码、资源文件和测试代码。下面的命令创建项目并补齐标准目录;Windows PowerShell 可在文件管理器或 IDE 中创建相同结构。

bash
mvn archetype:generate   -DarchetypeGroupId=org.apache.maven.archetypes   -DarchetypeArtifactId=maven-archetype-quickstart   -DarchetypeVersion=1.5   -DgroupId=com.anystack.flink   -DartifactId=flink-practice   -Dversion=1.0.0-SNAPSHOT   -Dpackage=com.anystack.flink   -DinteractiveMode=false

cd flink-practice
mkdir -p src/main/resources

预期结果是当前目录出现 flink-practice 工程,Maven 输出末尾包含构建成功信息。

text
[INFO] BUILD SUCCESS

删除模板自动生成的 App.java 和 AppTest.java 后,工程应保持以下结构。target 是构建产物目录,不应提交到版本库。

text
flink-practice/
├── pom.xml
├── src/
│   ├── main/
│   │   ├── java/com/anystack/flink/
│   │   └── resources/
│   └── test/
│       └── java/com/anystack/flink/
└── target/

配置依赖与插件

将 pom.xml 替换为下面的完整配置。flink-streaming-java 提供 DataStream API,flink-clients 让主类可以创建本地执行环境;两项核心依赖使用 provided,编译时可见,但不会被重复打进提交到 Flink 集群的作业 JAR。

xml
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0
                             https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.anystack.flink</groupId>
    <artifactId>flink-practice</artifactId>
    <version>1.0.0-SNAPSHOT</version>

    <properties>
        <maven.compiler.release>17</maven.compiler.release>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <flink.version>2.3.0</flink.version>
        <main.class>com.anystack.flink.WordCountJob</main.class>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java</artifactId>
            <version>${flink.version}</version>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients</artifactId>
            <version>${flink.version}</version>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-test-utils</artifactId>
            <version>${flink.version}</version>
            <scope>test</scope>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.14.0</version>
            </plugin>
            <plugin>
                <groupId>org.codehaus.mojo</groupId>
                <artifactId>exec-maven-plugin</artifactId>
                <version>3.5.1</version>
                <configuration>
                    <mainClass>${main.class}</mainClass>
                    <classpathScope>compile</classpathScope>
                </configuration>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-jar-plugin</artifactId>
                <version>3.4.2</version>
                <configuration>
                    <archive>
                        <manifest>
                            <mainClass>${main.class}</mainClass>
                        </manifest>
                    </archive>
                </configuration>
            </plugin>
        </plugins>
    </build>
</project>

这里暂时不加入 Kafka、JDBC 等连接器。后续确实使用外部系统时,再单独添加对应依赖,并根据部署方式决定是否使用 Shade 插件把第三方库打入作业 JAR。

构建并验证

先执行完整构建,再检查生成的 JAR。由于目前还没有业务主类,若删除了模板测试与代码,Maven 仍可完成空工程构建;下一课加入 WordCountJob 后即可直接运行。

bash
mvn clean package
ls -lh target/*.jar

预期结果中 JAR 文件大小和时间会因环境不同而变化。

text
[INFO] BUILD SUCCESS
-rw-r--r-- 1 <ID> <ID> <ID> <TIME> target/flink-practice-1.0.0-SNAPSHOT.jar

如果依赖下载失败,先检查是否能访问 Maven Central、代理配置是否生效,以及 settings.xml 中的镜像地址是否可用。若出现 release version 17 not supported,说明 Maven 实际使用的不是 Java 17,应回到前置检查修正环境。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

创建 Maven 项目

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通