大数据与流处理 / 系统课时

执行环境与数据流

执行环境与数据流

本课通过一个最小 DataStream 程序说明 StreamExecutionEnvironment 的职责、数据流的组成方式,以及 execute() 为什么是作业真正开始运行的边界。完成后,你可以独立写出 Source、Transformation、Sink 三段式程序并验证输出。

学习目标

  • 理解执行环境在作业构建与提交中的作用
  • 识别 Source、Transformation 和 Sink 三类节点
  • 编写并运行一个最小 DataStream 程序

执行环境负责什么

StreamExecutionEnvironment 是 DataStream 程序的入口。它保存并行度等运行参数,创建数据源,记录算子之间的连接关系,并在最后把构建好的作业提交给本地或集群运行时。

调用 getExecutionEnvironment() 时,Flink 会根据运行位置选择合适的环境。在 IDE 中直接运行通常使用本地环境;提交到集群时,同一份代码会使用集群提供的执行上下文,因此业务代码一般不需要手动区分两种环境。

数据流如何组成

一条最小数据流通常包含三个部分:Source 产生数据,Transformation 对数据进行转换,Sink 消费或输出结果。多个转换可以连续连接,每次调用都会返回新的 DataStream,从而形成有向的数据处理链。

Flink 执行环境与 DataStream 数据流结构

需要注意,创建 Source 和连接算子时主要是在描述执行图,并不代表数据已经处理。只有调用 execute() 后,Flink 才会提交作业并启动各个算子。

编写最小 DataStream 程序

在 Flink Maven 项目中创建 src/main/java/com/example/flink/BasicDataStreamJob.java。示例使用单并行度,使输出顺序保持稳定。

java
package com.example.flink;

import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

public class BasicDataStreamJob {

    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env =
                StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);

        DataStream<Integer> numbers = env.fromElements(1, 2, 3, 4);

        DataStream<Integer> result = numbers
                .map(value -> value * 2)
                .filter(value -> value > 4);

        result.print();

        // execute 是作业从“构建数据流”进入“实际运行”的边界
        env.execute("basic-data-stream-job");
    }
}

预期输出

text
6
8

部分运行环境会在结果前增加子任务编号,例如 1> 6。只要最终包含 6 和 8,且不包含 2 和 4,就说明 map 与 filter 已按顺序生效。

沿着代码理解执行过程

fromElements(1, 2, 3, 4) 创建 Source。map 将每个数字乘以 2,得到 2、4、6、8;filter 仅保留大于 4 的值,因此输出 6 和 8;print 是 Sink,把最终结果写到标准输出。

DataStream 不是已经装满数据的集合,而是对数据处理关系的描述。Flink 运行时会把这些关系转换成作业图,并根据并行度把算子分配给执行任务。这里设置并行度为 1,是为了让初学阶段的输出更容易观察。

关键边界与常见错误

如果省略 Sink,前面的转换没有可消费结果,程序不能形成完整的输出链路。如果省略 env.execute(...),主方法会在构建完数据流后结束,作业不会真正运行。

同一个作业通常只调用一次 execute()。若把它放在数据流尚未构建完成的位置,后续定义的算子不会属于这次已提交的作业。正确做法是先完成 Source、Transformation 和 Sink,再在主方法末尾统一提交。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

执行环境与数据流

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通