大数据与流处理 / 系统课时

连接器体系

连接器体系

本课建立 Flink 连接器的整体心智模型,并给出从依赖加载到一致性验证的最小操作路径。完成后,你能够判断一个外部系统接入需要哪些 JAR、格式和运行配置,也能区分“连接成功”与“端到端数据一致”之间的差别。

学习目标

  • 说明连接器、数据格式和运行时之间的职责边界
  • 正确加载连接器依赖并验证工厂是否可发现
  • 根据 Source、Sink 与外部系统能力判断一致性上限

连接器位于哪里

连接器负责把外部系统的数据模型转换为 Flink 可处理的记录,并把计算结果写回目标系统。SQL 作业通常还需要独立的格式组件,例如 JSON、CSV 或 Avro;连接器解决“从哪里读、写到哪里”,格式解决“字节如何解析和编码”。

在运行时,Source 需要保存消费位置或分片进度,Sink 需要在故障恢复时避免丢失或重复提交。Checkpoint 将算子状态、Source 进度和支持事务的 Sink 提交点协调起来,但最终一致性仍受外部系统事务、幂等写入和连接器实现能力限制。

Flink 连接器、格式与一致性协作关系

依赖加载与工厂发现

内置连接器可以直接使用,独立发布的连接器必须把与运行时兼容的 JAR 放入集群类路径,或在 SQL Client 启动时通过 -j 加载。<VERSION> 表示连接器发行版本,<PATH> 表示本机实际目录;两者必须按目标 Flink 版本和连接器文档替换。

bash
./bin/sql-client.sh embedded -j /<PATH>/flink-sql-connector-kafka-<VERSION>.jar

预期输出

text
Flink SQL>

进入 SQL Client 后执行 SHOW JARS,确认当前会话确实加载了目标文件,而不是仅把 JAR 放在了错误目录。

sql
SHOW JARS;

预期结果

text
file:/<PATH>/flink-sql-connector-kafka-<VERSION>.jar

若创建表时报 Could not find any factory for identifier,先检查连接器 JAR 是否被 JobManager 与 TaskManager 同时加载,再检查连接器版本、重复依赖和 shading 后是否丢失 META-INF/services。只在本地 SQL Client 可见而集群节点不可见,也会导致提交后失败。

用 Kafka 表验证读写链路

下面的 SQL 需要已运行的 Kafka、已创建的 order-events 与 order-audit 主题,以及已加载的 Kafka SQL Connector。它启用周期 Checkpoint,并要求 Sink 使用事务实现 exactly-once;transactional-id-prefix 在同一 Kafka 集群中应保持唯一。

sql
SET 'execution.checkpointing.interval' = '10 s';

CREATE TABLE order_source (
  order_id STRING,
  amount DECIMAL(12, 2),
  event_time TIMESTAMP(3),
  WATERMARK FOR event_time AS event_time - INTERVAL '5' SECOND
) WITH (
  'connector' = 'kafka',
  'topic' = 'order-events',
  'properties.bootstrap.servers' = 'localhost:9092',
  'properties.group.id' = 'flink-order-reader',
  'scan.startup.mode' = 'group-offsets',
  'format' = 'json'
);

CREATE TABLE order_sink (
  order_id STRING,
  amount DECIMAL(12, 2),
  event_time TIMESTAMP(3)
) WITH (
  'connector' = 'kafka',
  'topic' = 'order-audit',
  'properties.bootstrap.servers' = 'localhost:9092',
  'format' = 'json',
  'sink.delivery-guarantee' = 'exactly-once',
  'sink.transactional-id-prefix' = 'order-audit-'
);

INSERT INTO order_sink
SELECT order_id, amount, event_time
FROM order_source;

预期结果

text
流式作业提交成功,返回作业标识 <ID>;作业持续运行并等待 order-events 中的新消息。

验证时不要只看作业是否为 RUNNING。应向源主题写入带唯一 order_id 的测试消息,确认目标主题收到相同字段;随后触发一次 Checkpoint 并重启作业,检查恢复后是否出现丢失或重复。

一致性能力如何判断

环节 需要确认的能力 不能满足时的结果
Source 消费位置进入 Checkpoint 并可恢复 故障后可能跳过或重复读取
Flink 状态 Checkpoint 成功且状态后端可恢复 算子状态回退或丢失
Sink 事务提交、两阶段提交或幂等写入 可能产生重复或部分写入
外部系统 事务隔离、唯一键或幂等键 连接器无法单独保证端到端 exactly-once

“Exactly-once 连接器”不等于所有业务都天然 exactly-once。若 Sink 外部系统只支持普通追加写,最多只能依靠至少一次投递加业务去重;若写入包含多个外部系统,即使各自支持事务,也需要额外的跨系统一致性设计。

选型与排查顺序

选择连接器时先确认目标 Flink 版本是否有兼容发行包,再确认 Source 与 Sink 支持的 changelog 模式、并行度和一致性语义。接着检查格式是否支持目标字段类型、时间类型和空值,最后用故障恢复测试验证文档中的保证是否在当前配置下成立。

排查连接器问题应按“依赖可见性、工厂发现、网络与权限、数据格式、Checkpoint 与事务”顺序进行。这样可以先排除启动阶段错误,再处理运行期的数据质量和一致性问题。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

连接器体系

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通