大数据与流处理 / 系统课时
分析项目需求
分析项目需求
本课把“实时交易分析”从模糊目标拆成可验收的数据对象、指标口径和边界条件。完成后,你将得到一份可直接指导 Kafka 主题、Flink 作业和分析表设计的最小需求清单。
学习目标
- 识别交易流水、支付结果与商户信息的职责边界
- 定义实时指标的统计口径、时间语义和更新方式
- 使用一组最小样例验证需求是否可计算、可对账
明确分析边界
项目只处理与交易分析直接相关的数据:交易流水描述“发生了什么交易”,支付结果描述“最终是否支付成功”,商户信息提供名称、行业和状态等维度。实时作业负责关联这些对象并输出分钟级或累计指标,不修改订单和支付系统中的业务事实。

需求评审时要先确认统计对象,再讨论技术方案。若“订单数”究竟按下单事件、支付发起事件还是最终支付事件计算没有定论,后续即使程序运行正确,也会产生无法解释的对账差异。
定义数据契约
三类数据应使用稳定主键关联,并明确哪些字段允许更新。建议先冻结最小字段集,避免把整个业务表原样同步到实时链路。
| 数据对象 | 主键与关联键 | 核心字段 | 更新特征 |
|---|---|---|---|
| 交易流水 | transaction_id、merchant_no |
金额、币种、交易时间、订单状态 | 可能重复投递,状态可变化 |
| 支付结果 | transaction_id |
支付状态、完成时间、通道响应 | 可能晚到,成功结果通常不可逆 |
| 商户信息 | merchant_no |
商户名称、行业、启停状态 | 低频更新,作为维度数据 |
事件必须携带事件时间和唯一标识。Flink 以事件时间计算窗口,以唯一标识去重;商户信息则按业务要求选择最新值或事件发生时的历史版本。
固化指标口径
本项目至少需要明确五个基础指标:有效交易笔数、成功笔数、成功率、成功金额和商户维度汇总。成功率可定义为 ,但“有效交易”必须排除测试单、已明确作废的订单和不参与统计的业务类型。
窗口指标还要写明时间粒度与更新方式。例如一分钟窗口可以先输出初值,再在允许迟到时间内更新;累计指标则要说明作业重启后是否从状态恢复。所有指标均应给出币种处理规则,禁止直接把不同币种金额相加。
用最小数据验证需求
下面的 MySQL 示例把三类数据压缩为最小表结构,并计算商户级交易指标。它可作为离线对账基线,用于验证实时结果的业务口径。
DROP TEMPORARY TABLE IF EXISTS trade_flow;
DROP TEMPORARY TABLE IF EXISTS payment_result;
DROP TEMPORARY TABLE IF EXISTS merchant_info;
CREATE TEMPORARY TABLE trade_flow (
transaction_id VARCHAR(32) PRIMARY KEY,
merchant_no VARCHAR(16) NOT NULL,
amount DECIMAL(12, 2) NOT NULL
);
CREATE TEMPORARY TABLE payment_result (
transaction_id VARCHAR(32) PRIMARY KEY,
pay_status VARCHAR(16) NOT NULL
);
CREATE TEMPORARY TABLE merchant_info (
merchant_no VARCHAR(16) PRIMARY KEY,
merchant_name VARCHAR(64) NOT NULL
);
INSERT INTO trade_flow VALUES
('T10001', 'M1001', 88.00),
('T10002', 'M1001', 120.00);
INSERT INTO payment_result VALUES
('T10001', 'SUCCESS'),
('T10002', 'FAILED');
INSERT INTO merchant_info VALUES
('M1001', '星河商户');
SELECT
m.merchant_name,
COUNT(*) AS trade_count,
SUM(CASE WHEN p.pay_status = 'SUCCESS' THEN 1 ELSE 0 END) AS success_count,
CAST(SUM(CASE WHEN p.pay_status = 'SUCCESS' THEN 1 ELSE 0 END) / COUNT(*) AS DECIMAL(10, 4)) AS success_rate,
SUM(CASE WHEN p.pay_status = 'SUCCESS' THEN t.amount ELSE 0 END) AS success_amount
FROM trade_flow t
JOIN payment_result p ON p.transaction_id = t.transaction_id
JOIN merchant_info m ON m.merchant_no = t.merchant_no
GROUP BY m.merchant_name;预期结果:
merchant_name | trade_count | success_count | success_rate | success_amount
星河商户 | 2 | 1 | 0.5000 | 88.00实时作业接收相同事件后,最终结果应与该基线一致。窗口尚未关闭或迟到数据仍在补算时,可以出现短暂差异,但必须在约定的最终一致时间内收敛。
明确验收条件
需求文档至少要给出四类验收条件:字段缺失时如何处理、重复事件如何去重、支付结果最晚允许迟到多久、商户信息变化后历史指标是否回刷。还要约定数据延迟、结果刷新频率和对账误差范围。
验收时同时检查“值是否正确”和“何时正确”。仅验证某一时刻的数字,而不验证迟到补算、作业恢复和重复投递,无法证明实时分析链路可用于生产。