大数据与流处理 / 系统课时

输出分析结果

输出分析结果

本课把实时分析产生的指标、交易明细和异常告警分流到三类外部系统:指标写入关系数据库,明细写入 Elasticsearch,告警写入 Kafka。完成后,你能够配置多 Sink 作业、验证每个落点,并识别跨系统一致性的真实边界。

学习目标

  • 根据查询方式和消费模式为三类结果选择合适的存储
  • 使用 Flink SQL Statement Set 在一个作业中提交多个写入
  • 通过主键、检查点和幂等键降低故障恢复时的重复影响

设计三类输出

指标数据通常按指标名和时间窗口查询,适合写入关系数据库;交易明细需要按订单、用户和字段组合检索,适合写入 Elasticsearch;告警需要被通知、风控和审计服务异步消费,适合写入 Kafka。

实时交易分析多 Sink 输出架构

准备数据库表

先在 MySQL 中创建指标表。复合主键让同一指标、同一窗口的重试写入变成更新,而不是不断追加重复行。

sql
CREATE DATABASE IF NOT EXISTS trade;
USE trade;

CREATE TABLE IF NOT EXISTS trade_metric (
    metric_name VARCHAR(64) NOT NULL,
    event_time DATETIME(3) NOT NULL,
    metric_value DECIMAL(18, 2) NOT NULL,
    PRIMARY KEY (metric_name, event_time)
);

预期结果如下。

text
Query OK, 0 rows affected

还需预先创建 Kafka 主题 trade-alert,并在 Flink 的 lib 或作业依赖中放置与 Flink、MySQL、Elasticsearch 和 Kafka 版本匹配的连接器。下面使用 <DB_HOST>、<ES_HOST>、<KAFKA_HOST>、<USER> 和 <PASSWORD> 表示部署环境中的实际值。

配置三个 Sink 并统一提交

示例先构造三条测试结果,再通过一个 Statement Set 提交三个 INSERT。共同上游只执行一次,三个 Sink 作为同一 Flink 作业的不同输出分支运行。

sql
SET 'execution.checkpointing.interval' = '10 s';

CREATE TEMPORARY VIEW analysis_result AS
SELECT
    'METRIC' AS record_type,
    'metric-1' AS record_id,
    CAST(NULL AS STRING) AS user_id,
    'paid_amount_1m' AS result_name,
    CAST(12800.50 AS DECIMAL(18, 2)) AS metric_value,
    CAST(NULL AS DECIMAL(18, 2)) AS amount,
    CAST(NULL AS STRING) AS message,
    TIMESTAMP '2026-08-04 10:00:00' AS event_time
UNION ALL
SELECT
    'DETAIL',
    'O-1001',
    'U-9',
    'PAID',
    CAST(NULL AS DECIMAL(18, 2)),
    CAST(199.00 AS DECIMAL(18, 2)),
    'card',
    TIMESTAMP '2026-08-04 10:00:01'
UNION ALL
SELECT
    'ALERT',
    'alert-1001',
    'U-2',
    'PAYMENT_TIMEOUT',
    CAST(NULL AS DECIMAL(18, 2)),
    CAST(200.00 AS DECIMAL(18, 2)),
    '订单 O-2001 创建后 5 分钟仍未支付',
    TIMESTAMP '2026-08-04 10:00:02';

CREATE TABLE metric_sink (
    metric_name STRING,
    event_time TIMESTAMP(3),
    metric_value DECIMAL(18, 2),
    PRIMARY KEY (metric_name, event_time) NOT ENFORCED
) WITH (
    'connector' = 'jdbc',
    'url' = 'jdbc:mysql://<DB_HOST>:3306/trade',
    'table-name' = 'trade_metric',
    'username' = '<USER>',
    'password' = '<PASSWORD>'
);

CREATE TABLE detail_sink (
    detail_id STRING,
    user_id STRING,
    status STRING,
    amount DECIMAL(18, 2),
    message STRING,
    event_time TIMESTAMP(3),
    PRIMARY KEY (detail_id) NOT ENFORCED
) WITH (
    'connector' = 'elasticsearch-8',
    'hosts' = 'http://<ES_HOST>:9200',
    'index' = 'trade-detail'
);

CREATE TABLE alert_sink (
    alert_id STRING,
    user_id STRING,
    alert_type STRING,
    amount DECIMAL(18, 2),
    message STRING,
    event_time TIMESTAMP(3)
) WITH (
    'connector' = 'kafka',
    'topic' = 'trade-alert',
    'properties.bootstrap.servers' = '<KAFKA_HOST>:9092',
    'format' = 'json',
    'sink.delivery-guarantee' = 'exactly-once',
    'sink.transactional-id-prefix' = 'trade-alert-'
);

EXECUTE STATEMENT SET
BEGIN
    INSERT INTO metric_sink
    SELECT result_name, event_time, metric_value
    FROM analysis_result
    WHERE record_type = 'METRIC';

    INSERT INTO detail_sink
    SELECT record_id, user_id, result_name, amount, message, event_time
    FROM analysis_result
    WHERE record_type = 'DETAIL';

    INSERT INTO alert_sink
    SELECT record_id, user_id, result_name, amount, message, event_time
    FROM analysis_result
    WHERE record_type = 'ALERT';
END;

预期结果是 SQL Client 返回作业编号,测试数据处理完成后作业结束。实际编号会不同。

text
Job ID: <ID>
Job status: FINISHED

elasticsearch-8 需与实际 Elasticsearch 主版本及可用连接器保持一致。使用 Elasticsearch 7 时改为对应连接器标识,不能只修改服务地址而忽略依赖版本。

验证三个落点

作业完成后分别查询 MySQL、Elasticsearch 和 Kafka。以下命令中的路径与账号按实际环境替换,Kafka 消费者应使用 read_committed,避免读取尚未提交的事务消息。

bash
mysql -h <DB_HOST> -u <USER> -p -D trade \
  -e "SELECT metric_name,event_time,metric_value FROM trade_metric;"

curl -s "http://<ES_HOST>:9200/trade-detail/_source/O-1001"

bin/kafka-console-consumer.sh \
  --bootstrap-server <KAFKA_HOST>:9092 \
  --topic trade-alert \
  --from-beginning \
  --max-messages 1 \
  --consumer-property isolation.level=read_committed

预期结果如下。时间字段的具体序列化格式可能因连接器配置略有差异。

text
paid_amount_1m    2026-08-04 10:00:00.000    12800.50
{"detail_id":"O-1001","user_id":"U-9","status":"PAID","amount":199.00,"message":"card","event_time":"2026-08-04 10:00:01"}
{"alert_id":"alert-1001","user_id":"U-2","alert_type":"PAYMENT_TIMEOUT","amount":200.00,"message":"订单 O-2001 创建后 5 分钟仍未支付","event_time":"2026-08-04 10:00:02"}

处理一致性与失败

JDBC 表和 Elasticsearch 索引都定义了主键。数据库连接器可据此执行 upsert,Elasticsearch 连接器可据此生成稳定文档 ID;发生重试时,同一个业务结果会覆盖原记录,而不是产生新的重复记录。

Kafka 的 exactly-once 需要开启检查点,并为每个并行作业实例使用不会冲突的事务前缀。生产者恢复后会根据检查点提交或中止事务,但下游消费者也必须使用已提交隔离级别。

Statement Set 能把多个写入放进一个 Flink 作业,却不会在 MySQL、Elasticsearch 和 Kafka 之间建立全局事务。可能出现数据库已成功、检索写入暂时失败的短暂不一致。严格一致场景应以一个权威落点为准,再通过可重放日志、补偿任务或 Outbox 模式驱动其他系统收敛。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

输出分析结果

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通