大数据与流处理 / 系统课时

读取 Kafka 数据

读取 Kafka 数据

本课完成一个可运行的 Flink Kafka Source 作业:订阅 orders 主题,从消费组已提交位点开始读取消息,在没有提交位点时回退到最早数据,并把反序列化后的字符串输出到控制台。

学习目标

  • 使用 KafkaSource 配置 Kafka 地址、主题和消费组
  • 选择合适的反序列化方式与起始位点
  • 理解检查点恢复、消费组位点与初始位点之间的优先级

Kafka Source 的读取链路

KafkaSource 会发现主题分区,把分区分配给并行 Source Reader,再由 Reader 持续拉取消息。Flink 检查点保存的是各分区的读取进度;作业恢复时优先使用检查点或 Savepoint 中的状态,而不是重新应用起始位点配置。

Kafka Source 从分区读取并保存位点的数据流图

要运行示例,项目需要引入与当前 Flink 版本兼容的 Kafka 连接器。连接器通常独立发布,版本不要凭经验硬配,应以所用 Flink 发行版的兼容说明为准。

xml
<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-connector-kafka</artifactId>
    <version>${flink.kafka.connector.version}</version>
</dependency>

这段配置只声明连接器依赖;将属性值替换为项目实际采用的兼容版本,并确认运行集群也能加载该 JAR。

完整消费示例

下面的程序订阅单个主题,使用字符串反序列化,并把并行度固定为 1,便于观察输出。运行前应保证 localhost:9092 可访问,且 orders 主题中已有 UTF-8 文本消息。

java
import org.apache.flink.api.common.eventtime.WatermarkStrategy;
import org.apache.flink.api.common.serialization.SimpleStringSchema;
import org.apache.flink.connector.kafka.source.KafkaSource;
import org.apache.flink.connector.kafka.source.enumerator.initializer.OffsetsInitializer;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.kafka.clients.consumer.OffsetResetStrategy;

public class ReadKafkaJob {

    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env =
                StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);
        // 检查点保存分区读取进度,并驱动消费组位点提交
        env.enableCheckpointing(10_000);

        KafkaSource<String> source = KafkaSource.<String>builder()
                .setBootstrapServers("localhost:9092")
                .setTopics("orders")
                .setGroupId("flink-orders-reader")
                // 优先读取消费组提交位点;首次消费时回退到最早位点
                .setStartingOffsets(
                        OffsetsInitializer.committedOffsets(
                                OffsetResetStrategy.EARLIEST))
                .setValueOnlyDeserializer(new SimpleStringSchema())
                .build();

        DataStream<String> orders = env.fromSource(
                source,
                WatermarkStrategy.noWatermarks(),
                "kafka-orders-source");

        orders.print("kafka");
        env.execute("read-kafka-orders");
    }
}

预期输出

text
kafka:1> {"orderId":"1001","amount":88}
kafka:1> {"orderId":"1002","amount":128}

示例把并行度固定为 1,因此打印前缀通常为 kafka:1>。消息内容和顺序取决于主题现有数据;多个分区并行消费时,只保证单个 Kafka 分区内的顺序。

起始位点怎么选

OffsetsInitializer 只决定没有可恢复状态时从哪里开始。常见策略如下:

策略 适合场景 关键边界
earliest() 首次回放全部历史数据 数据量大时会产生明显追赶压力
latest() 只处理作业启动后的新消息 启动前数据不会被读取
committedOffsets() 延续消费组在 Kafka 中提交的位点 位点不存在时要明确重置策略
timestamp(...) 从指定时间附近回放 时间戳单位是毫秒,各分区结果可能不同

当作业从 Checkpoint 或 Savepoint 恢复时,恢复状态优先级最高。若想强制从最早位点重放,不能只修改 setStartingOffsets,还要以无状态方式启动,或使用经过确认的状态迁移方案。

订阅与反序列化边界

固定主题使用 setTopics 最直接;多个主题也可一次传入。按命名规则动态订阅时可改用主题正则,但要评估新主题是否应该自动进入作业,避免误消费测试或敏感主题。

SimpleStringSchema 只适合值为 UTF-8 文本且不需要 Kafka key、headers、partition、offset 等元数据的场景。若业务需要这些字段,应实现完整的 Kafka 记录反序列化逻辑,并把解析失败数据送往独立错误流,而不是在 Source 中直接丢弃。

验证与常见失败

启动后没有数据,先按顺序检查 Broker 地址、主题名称、ACL、消费组位点和起始策略。latest() 最容易造成“作业正常但看不到旧消息”的误判。

若日志提示找不到 Kafka 连接器类,通常是依赖未打入提交包或集群缺少连接器 JAR。若出现反序列化异常,应核对生产者编码与 Schema,并保留原始消息用于定位。

生产环境应开启 Checkpoint,确保读取进度进入 Flink 状态。Kafka 消费组提交位点便于外部观察,但作业一致性恢复仍应以 Flink 状态为准。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

读取 Kafka 数据

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通