大数据与流处理 / 系统课时

打包与提交作业

打包与提交作业

Flink 作业在本地运行成功后,还需要构建成与集群版本兼容的 JAR,并通过命令行提交、查询和停止。本课从依赖边界开始,完成一个可提交的 Maven 项目和完整运维流程。

学习目标

  • 正确区分集群提供依赖与需要打入 JAR 的业务依赖
  • 使用 Maven 构建并检查可提交的作业包
  • 掌握提交、查询与取消作业的常用命令

确定打包边界

集群已经提供 Flink 运行时类库,因此 flink-streaming-java 和 flink-clients 通常使用 provided 范围:编译时可见,但不会被打入业务 JAR。这样可以避免包体过大以及同一类出现多个版本。

业务代码依赖的普通第三方库通常由 Shade 插件打入 JAR。连接器则要统一选择一种部署方式:打入作业包,或由管理员放入集群 lib 目录。两种方式混用容易引发 NoSuchMethodError、类冲突和序列化版本不一致。

创建最小可提交项目

下面示例使用 Flink 1.20.1 和 Java 17。实际项目必须把 flink.version 调整为集群使用的版本,编译目标版本也不能高于集群 JVM。

xml
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.example</groupId>
    <artifactId>flink-submit-demo</artifactId>
    <version>1.0.0</version>

    <properties>
        <maven.compiler.release>17</maven.compiler.release>
        <flink.version>1.20.1</flink.version>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java</artifactId>
            <version>${flink.version}</version>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients</artifactId>
            <version>${flink.version}</version>
            <scope>provided</scope>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.13.0</version>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>3.6.0</version>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration>
                            <createDependencyReducedPom>false</createDependencyReducedPom>
                            <filters>
                                <filter>
                                    <artifact>*:*</artifact>
                                    <excludes>
                                        <exclude>META-INF/*.SF</exclude>
                                        <exclude>META-INF/*.DSA</exclude>
                                        <exclude>META-INF/*.RSA</exclude>
                                    </excludes>
                                </filter>
                            </filters>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>
</project>

该配置生效后,Flink 核心依赖不会进入业务 JAR,其他未标记为 provided 的依赖会在 package 阶段合并。签名文件被排除,可避免合并后出现无效签名错误。

在 src/main/java/com/example/CounterJob.java 创建一个持续运行的测试作业:

java
package com.example;

import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.source.SourceFunction;

public class CounterJob {

    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env =
                StreamExecutionEnvironment.getExecutionEnvironment();

        env.addSource(new CounterSource())
                .name("counter-source")
                .map(value -> "count=" + value)
                .name("format-count")
                .print();

        env.execute("counter-job");
    }

    private static final class CounterSource implements SourceFunction<Long> {
        private volatile boolean running = true;

        @Override
        public void run(SourceContext<Long> context) throws Exception {
            long value = 0L;
            while (running) {
                synchronized (context.getCheckpointLock()) {
                    context.collect(value++);
                }
                Thread.sleep(1000L);
            }
        }

        @Override
        public void cancel() {
            running = false;
        }
    }
}

预期结果:

text
作业启动后,TaskManager 日志持续出现 count=0、count=1、count=2……
收到取消命令后,Source 停止循环,作业结束。

构建并检查 JAR

在包含 pom.xml 的项目根目录执行构建。<PATH> 替换为实际项目路径。

bash
cd <PATH>
mvn clean package
jar tf target/flink-submit-demo-1.0.0.jar | grep 'com/example/CounterJob'

预期输出:

text
[INFO] BUILD SUCCESS
com/example/CounterJob.class
com/example/CounterJob$CounterSource.class

Shade 插件通常还会生成以 original- 开头的原始包。提交时应使用最终的 flink-submit-demo-1.0.0.jar,不要提交未合并依赖的原始包。

提交、查询和取消作业

使用集群安装目录中的 flink 命令提交作业。-d 表示脱离客户端运行,-c 指定主类。

bash
<FLINK_HOME>/bin/flink run -d -c com.example.CounterJob <PATH>/target/flink-submit-demo-1.0.0.jar

预期输出:

text
Job has been submitted with JobID <ID>

记录返回的 <ID>,随后查询正在运行的作业:

bash
<FLINK_HOME>/bin/flink list -r

预期输出:

text
------------------ Running/Restarting Jobs -------------------
<TIME> : <ID> : counter-job (RUNNING)
--------------------------------------------------------------

确认测试完成后取消作业:

bash
<FLINK_HOME>/bin/flink cancel <ID>

预期输出:

text
Cancelling job <ID>.
Cancelled job <ID>.

时间、作业 ID 和命令输出格式可能因 Flink 版本不同而略有差异,但状态应依次表现为已提交、运行中和已取消。

提交失败的定位顺序

先检查集群 Flink 版本与 POM 是否一致,再检查集群 JVM 是否支持编译目标版本。出现 ClassNotFoundException 时,通常是业务依赖既没有打入 JAR,也没有放入集群 lib;出现 NoSuchMethodError 时,优先排查连接器或 Flink 核心类被重复打包。

若提示找不到主类,核对 -c 后的全限定类名与 JAR 内路径。若作业提交成功但立即失败,应使用 Web UI 或 JobManager 日志查看首个异常,而不是只重复执行提交命令。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

打包与提交作业

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通