大数据与流处理 / 系统课时
输出分析结果
输出分析结果
本课把实时分析产生的指标、交易明细和异常告警分流到三类外部系统:指标写入关系数据库,明细写入 Elasticsearch,告警写入 Kafka。完成后,你能够配置多 Sink 作业、验证每个落点,并识别跨系统一致性的真实边界。
学习目标
- 根据查询方式和消费模式为三类结果选择合适的存储
- 使用 Flink SQL Statement Set 在一个作业中提交多个写入
- 通过主键、检查点和幂等键降低故障恢复时的重复影响
设计三类输出
指标数据通常按指标名和时间窗口查询,适合写入关系数据库;交易明细需要按订单、用户和字段组合检索,适合写入 Elasticsearch;告警需要被通知、风控和审计服务异步消费,适合写入 Kafka。

准备数据库表
先在 MySQL 中创建指标表。复合主键让同一指标、同一窗口的重试写入变成更新,而不是不断追加重复行。
CREATE DATABASE IF NOT EXISTS trade;
USE trade;
CREATE TABLE IF NOT EXISTS trade_metric (
metric_name VARCHAR(64) NOT NULL,
event_time DATETIME(3) NOT NULL,
metric_value DECIMAL(18, 2) NOT NULL,
PRIMARY KEY (metric_name, event_time)
);预期结果如下。
Query OK, 0 rows affected还需预先创建 Kafka 主题 trade-alert,并在 Flink 的 lib 或作业依赖中放置与 Flink、MySQL、Elasticsearch 和 Kafka 版本匹配的连接器。下面使用 <DB_HOST>、<ES_HOST>、<KAFKA_HOST>、<USER> 和 <PASSWORD> 表示部署环境中的实际值。
配置三个 Sink 并统一提交
示例先构造三条测试结果,再通过一个 Statement Set 提交三个 INSERT。共同上游只执行一次,三个 Sink 作为同一 Flink 作业的不同输出分支运行。
SET 'execution.checkpointing.interval' = '10 s';
CREATE TEMPORARY VIEW analysis_result AS
SELECT
'METRIC' AS record_type,
'metric-1' AS record_id,
CAST(NULL AS STRING) AS user_id,
'paid_amount_1m' AS result_name,
CAST(12800.50 AS DECIMAL(18, 2)) AS metric_value,
CAST(NULL AS DECIMAL(18, 2)) AS amount,
CAST(NULL AS STRING) AS message,
TIMESTAMP '2026-08-04 10:00:00' AS event_time
UNION ALL
SELECT
'DETAIL',
'O-1001',
'U-9',
'PAID',
CAST(NULL AS DECIMAL(18, 2)),
CAST(199.00 AS DECIMAL(18, 2)),
'card',
TIMESTAMP '2026-08-04 10:00:01'
UNION ALL
SELECT
'ALERT',
'alert-1001',
'U-2',
'PAYMENT_TIMEOUT',
CAST(NULL AS DECIMAL(18, 2)),
CAST(200.00 AS DECIMAL(18, 2)),
'订单 O-2001 创建后 5 分钟仍未支付',
TIMESTAMP '2026-08-04 10:00:02';
CREATE TABLE metric_sink (
metric_name STRING,
event_time TIMESTAMP(3),
metric_value DECIMAL(18, 2),
PRIMARY KEY (metric_name, event_time) NOT ENFORCED
) WITH (
'connector' = 'jdbc',
'url' = 'jdbc:mysql://<DB_HOST>:3306/trade',
'table-name' = 'trade_metric',
'username' = '<USER>',
'password' = '<PASSWORD>'
);
CREATE TABLE detail_sink (
detail_id STRING,
user_id STRING,
status STRING,
amount DECIMAL(18, 2),
message STRING,
event_time TIMESTAMP(3),
PRIMARY KEY (detail_id) NOT ENFORCED
) WITH (
'connector' = 'elasticsearch-8',
'hosts' = 'http://<ES_HOST>:9200',
'index' = 'trade-detail'
);
CREATE TABLE alert_sink (
alert_id STRING,
user_id STRING,
alert_type STRING,
amount DECIMAL(18, 2),
message STRING,
event_time TIMESTAMP(3)
) WITH (
'connector' = 'kafka',
'topic' = 'trade-alert',
'properties.bootstrap.servers' = '<KAFKA_HOST>:9092',
'format' = 'json',
'sink.delivery-guarantee' = 'exactly-once',
'sink.transactional-id-prefix' = 'trade-alert-'
);
EXECUTE STATEMENT SET
BEGIN
INSERT INTO metric_sink
SELECT result_name, event_time, metric_value
FROM analysis_result
WHERE record_type = 'METRIC';
INSERT INTO detail_sink
SELECT record_id, user_id, result_name, amount, message, event_time
FROM analysis_result
WHERE record_type = 'DETAIL';
INSERT INTO alert_sink
SELECT record_id, user_id, result_name, amount, message, event_time
FROM analysis_result
WHERE record_type = 'ALERT';
END;预期结果是 SQL Client 返回作业编号,测试数据处理完成后作业结束。实际编号会不同。
Job ID: <ID>
Job status: FINISHEDelasticsearch-8 需与实际 Elasticsearch 主版本及可用连接器保持一致。使用 Elasticsearch 7 时改为对应连接器标识,不能只修改服务地址而忽略依赖版本。
验证三个落点
作业完成后分别查询 MySQL、Elasticsearch 和 Kafka。以下命令中的路径与账号按实际环境替换,Kafka 消费者应使用 read_committed,避免读取尚未提交的事务消息。
mysql -h <DB_HOST> -u <USER> -p -D trade \
-e "SELECT metric_name,event_time,metric_value FROM trade_metric;"
curl -s "http://<ES_HOST>:9200/trade-detail/_source/O-1001"
bin/kafka-console-consumer.sh \
--bootstrap-server <KAFKA_HOST>:9092 \
--topic trade-alert \
--from-beginning \
--max-messages 1 \
--consumer-property isolation.level=read_committed预期结果如下。时间字段的具体序列化格式可能因连接器配置略有差异。
paid_amount_1m 2026-08-04 10:00:00.000 12800.50
{"detail_id":"O-1001","user_id":"U-9","status":"PAID","amount":199.00,"message":"card","event_time":"2026-08-04 10:00:01"}
{"alert_id":"alert-1001","user_id":"U-2","alert_type":"PAYMENT_TIMEOUT","amount":200.00,"message":"订单 O-2001 创建后 5 分钟仍未支付","event_time":"2026-08-04 10:00:02"}处理一致性与失败
JDBC 表和 Elasticsearch 索引都定义了主键。数据库连接器可据此执行 upsert,Elasticsearch 连接器可据此生成稳定文档 ID;发生重试时,同一个业务结果会覆盖原记录,而不是产生新的重复记录。
Kafka 的 exactly-once 需要开启检查点,并为每个并行作业实例使用不会冲突的事务前缀。生产者恢复后会根据检查点提交或中止事务,但下游消费者也必须使用已提交隔离级别。
Statement Set 能把多个写入放进一个 Flink 作业,却不会在 MySQL、Elasticsearch 和 Kafka 之间建立全局事务。可能出现数据库已成功、检索写入暂时失败的短暂不一致。严格一致场景应以一个权威落点为准,再通过可重放日志、补偿任务或 Outbox 模式驱动其他系统收敛。