大数据与流处理 / 系统课时
打包与提交作业
打包与提交作业
Flink 作业在本地运行成功后,还需要构建成与集群版本兼容的 JAR,并通过命令行提交、查询和停止。本课从依赖边界开始,完成一个可提交的 Maven 项目和完整运维流程。
学习目标
- 正确区分集群提供依赖与需要打入 JAR 的业务依赖
- 使用 Maven 构建并检查可提交的作业包
- 掌握提交、查询与取消作业的常用命令
确定打包边界
集群已经提供 Flink 运行时类库,因此 flink-streaming-java 和 flink-clients 通常使用 provided 范围:编译时可见,但不会被打入业务 JAR。这样可以避免包体过大以及同一类出现多个版本。
业务代码依赖的普通第三方库通常由 Shade 插件打入 JAR。连接器则要统一选择一种部署方式:打入作业包,或由管理员放入集群 lib 目录。两种方式混用容易引发 NoSuchMethodError、类冲突和序列化版本不一致。
创建最小可提交项目
下面示例使用 Flink 1.20.1 和 Java 17。实际项目必须把 flink.version 调整为集群使用的版本,编译目标版本也不能高于集群 JVM。
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.example</groupId>
<artifactId>flink-submit-demo</artifactId>
<version>1.0.0</version>
<properties>
<maven.compiler.release>17</maven.compiler.release>
<flink.version>1.20.1</flink.version>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
</properties>
<dependencies>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-streaming-java</artifactId>
<version>${flink.version}</version>
<scope>provided</scope>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-clients</artifactId>
<version>${flink.version}</version>
<scope>provided</scope>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<version>3.13.0</version>
</plugin>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-shade-plugin</artifactId>
<version>3.6.0</version>
<executions>
<execution>
<phase>package</phase>
<goals>
<goal>shade</goal>
</goals>
<configuration>
<createDependencyReducedPom>false</createDependencyReducedPom>
<filters>
<filter>
<artifact>*:*</artifact>
<excludes>
<exclude>META-INF/*.SF</exclude>
<exclude>META-INF/*.DSA</exclude>
<exclude>META-INF/*.RSA</exclude>
</excludes>
</filter>
</filters>
</configuration>
</execution>
</executions>
</plugin>
</plugins>
</build>
</project>该配置生效后,Flink 核心依赖不会进入业务 JAR,其他未标记为 provided 的依赖会在 package 阶段合并。签名文件被排除,可避免合并后出现无效签名错误。
在 src/main/java/com/example/CounterJob.java 创建一个持续运行的测试作业:
package com.example;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.source.SourceFunction;
public class CounterJob {
public static void main(String[] args) throws Exception {
StreamExecutionEnvironment env =
StreamExecutionEnvironment.getExecutionEnvironment();
env.addSource(new CounterSource())
.name("counter-source")
.map(value -> "count=" + value)
.name("format-count")
.print();
env.execute("counter-job");
}
private static final class CounterSource implements SourceFunction<Long> {
private volatile boolean running = true;
@Override
public void run(SourceContext<Long> context) throws Exception {
long value = 0L;
while (running) {
synchronized (context.getCheckpointLock()) {
context.collect(value++);
}
Thread.sleep(1000L);
}
}
@Override
public void cancel() {
running = false;
}
}
}预期结果:
作业启动后,TaskManager 日志持续出现 count=0、count=1、count=2……
收到取消命令后,Source 停止循环,作业结束。构建并检查 JAR
在包含 pom.xml 的项目根目录执行构建。<PATH> 替换为实际项目路径。
cd <PATH>
mvn clean package
jar tf target/flink-submit-demo-1.0.0.jar | grep 'com/example/CounterJob'预期输出:
[INFO] BUILD SUCCESS
com/example/CounterJob.class
com/example/CounterJob$CounterSource.classShade 插件通常还会生成以 original- 开头的原始包。提交时应使用最终的 flink-submit-demo-1.0.0.jar,不要提交未合并依赖的原始包。
提交、查询和取消作业
使用集群安装目录中的 flink 命令提交作业。-d 表示脱离客户端运行,-c 指定主类。
<FLINK_HOME>/bin/flink run -d -c com.example.CounterJob <PATH>/target/flink-submit-demo-1.0.0.jar预期输出:
Job has been submitted with JobID <ID>记录返回的 <ID>,随后查询正在运行的作业:
<FLINK_HOME>/bin/flink list -r预期输出:
------------------ Running/Restarting Jobs -------------------
<TIME> : <ID> : counter-job (RUNNING)
--------------------------------------------------------------确认测试完成后取消作业:
<FLINK_HOME>/bin/flink cancel <ID>预期输出:
Cancelling job <ID>.
Cancelled job <ID>.时间、作业 ID 和命令输出格式可能因 Flink 版本不同而略有差异,但状态应依次表现为已提交、运行中和已取消。
提交失败的定位顺序
先检查集群 Flink 版本与 POM 是否一致,再检查集群 JVM 是否支持编译目标版本。出现 ClassNotFoundException 时,通常是业务依赖既没有打入 JAR,也没有放入集群 lib;出现 NoSuchMethodError 时,优先排查连接器或 Flink 核心类被重复打包。
若提示找不到主类,核对 -c 后的全限定类名与 JAR 内路径。若作业提交成功但立即失败,应使用 Web UI 或 JobManager 日志查看首个异常,而不是只重复执行提交命令。