大数据与流处理 / 系统课时
创建 Maven 项目
创建 Maven 项目
本课将从空目录搭建一个可编译、可打包的 Flink Java 工程。完成后,你会得到统一的 Maven 依赖、构建插件和标准源码目录,为后续编写与运行 DataStream 作业准备好稳定的项目骨架。
学习目标
- 创建符合 Maven 约定的 Flink Java 项目目录
- 配置 Flink 2.3.0 依赖、Java 17 编译参数和运行插件
- 使用 Maven 完成依赖解析、编译、测试与打包验证
前置检查
本课统一使用 Java 17、Maven 3.8.6 或更高版本,以及 Flink 2.3.0。先确认命令行能够找到正确的 JDK 和 Maven,避免项目创建后才处理环境变量或版本不匹配问题。
java -version
mvn -version预期输出中的补丁版本、安装路径和操作系统信息可能不同,但 Java 主版本应为 17,Maven 版本不应低于 3.8.6。
openjdk version "17.<ID>"
Apache Maven 3.<ID>
Java home: <PATH>若系统显示了其他 Java 版本,应先调整 JAVA_HOME 和 PATH,再重新执行检查。不要仅修改 IDE 的项目 SDK,因为 Maven 命令仍可能使用另一套 JDK。
创建项目目录
Maven 使用固定目录约定区分生产代码、资源文件和测试代码。下面的命令创建项目并补齐标准目录;Windows PowerShell 可在文件管理器或 IDE 中创建相同结构。
mvn archetype:generate -DarchetypeGroupId=org.apache.maven.archetypes -DarchetypeArtifactId=maven-archetype-quickstart -DarchetypeVersion=1.5 -DgroupId=com.anystack.flink -DartifactId=flink-practice -Dversion=1.0.0-SNAPSHOT -Dpackage=com.anystack.flink -DinteractiveMode=false
cd flink-practice
mkdir -p src/main/resources预期结果是当前目录出现 flink-practice 工程,Maven 输出末尾包含构建成功信息。
[INFO] BUILD SUCCESS删除模板自动生成的 App.java 和 AppTest.java 后,工程应保持以下结构。target 是构建产物目录,不应提交到版本库。
flink-practice/
├── pom.xml
├── src/
│ ├── main/
│ │ ├── java/com/anystack/flink/
│ │ └── resources/
│ └── test/
│ └── java/com/anystack/flink/
└── target/配置依赖与插件
将 pom.xml 替换为下面的完整配置。flink-streaming-java 提供 DataStream API,flink-clients 让主类可以创建本地执行环境;两项核心依赖使用 provided,编译时可见,但不会被重复打进提交到 Flink 集群的作业 JAR。
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0
https://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.anystack.flink</groupId>
<artifactId>flink-practice</artifactId>
<version>1.0.0-SNAPSHOT</version>
<properties>
<maven.compiler.release>17</maven.compiler.release>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
<flink.version>2.3.0</flink.version>
<main.class>com.anystack.flink.WordCountJob</main.class>
</properties>
<dependencies>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-streaming-java</artifactId>
<version>${flink.version}</version>
<scope>provided</scope>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-clients</artifactId>
<version>${flink.version}</version>
<scope>provided</scope>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-test-utils</artifactId>
<version>${flink.version}</version>
<scope>test</scope>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<version>3.14.0</version>
</plugin>
<plugin>
<groupId>org.codehaus.mojo</groupId>
<artifactId>exec-maven-plugin</artifactId>
<version>3.5.1</version>
<configuration>
<mainClass>${main.class}</mainClass>
<classpathScope>compile</classpathScope>
</configuration>
</plugin>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-jar-plugin</artifactId>
<version>3.4.2</version>
<configuration>
<archive>
<manifest>
<mainClass>${main.class}</mainClass>
</manifest>
</archive>
</configuration>
</plugin>
</plugins>
</build>
</project>这里暂时不加入 Kafka、JDBC 等连接器。后续确实使用外部系统时,再单独添加对应依赖,并根据部署方式决定是否使用 Shade 插件把第三方库打入作业 JAR。
构建并验证
先执行完整构建,再检查生成的 JAR。由于目前还没有业务主类,若删除了模板测试与代码,Maven 仍可完成空工程构建;下一课加入 WordCountJob 后即可直接运行。
mvn clean package
ls -lh target/*.jar预期结果中 JAR 文件大小和时间会因环境不同而变化。
[INFO] BUILD SUCCESS
-rw-r--r-- 1 <ID> <ID> <ID> <TIME> target/flink-practice-1.0.0-SNAPSHOT.jar如果依赖下载失败,先检查是否能访问 Maven Central、代理配置是否生效,以及 settings.xml 中的镜像地址是否可用。若出现 release version 17 not supported,说明 Maven 实际使用的不是 Java 17,应回到前置检查修正环境。