大数据与流处理 / 系统课时

分析项目需求

分析项目需求

本课把“实时交易分析”从模糊目标拆成可验收的数据对象、指标口径和边界条件。完成后,你将得到一份可直接指导 Kafka 主题、Flink 作业和分析表设计的最小需求清单。

学习目标

  • 识别交易流水、支付结果与商户信息的职责边界
  • 定义实时指标的统计口径、时间语义和更新方式
  • 使用一组最小样例验证需求是否可计算、可对账

明确分析边界

项目只处理与交易分析直接相关的数据:交易流水描述“发生了什么交易”,支付结果描述“最终是否支付成功”,商户信息提供名称、行业和状态等维度。实时作业负责关联这些对象并输出分钟级或累计指标,不修改订单和支付系统中的业务事实。

实时交易分析需求对象与指标关系

需求评审时要先确认统计对象,再讨论技术方案。若“订单数”究竟按下单事件、支付发起事件还是最终支付事件计算没有定论,后续即使程序运行正确,也会产生无法解释的对账差异。

定义数据契约

三类数据应使用稳定主键关联,并明确哪些字段允许更新。建议先冻结最小字段集,避免把整个业务表原样同步到实时链路。

数据对象 主键与关联键 核心字段 更新特征
交易流水 transaction_id、merchant_no 金额、币种、交易时间、订单状态 可能重复投递,状态可变化
支付结果 transaction_id 支付状态、完成时间、通道响应 可能晚到,成功结果通常不可逆
商户信息 merchant_no 商户名称、行业、启停状态 低频更新,作为维度数据

事件必须携带事件时间和唯一标识。Flink 以事件时间计算窗口,以唯一标识去重;商户信息则按业务要求选择最新值或事件发生时的历史版本。

固化指标口径

本项目至少需要明确五个基础指标:有效交易笔数、成功笔数、成功率、成功金额和商户维度汇总。成功率可定义为 成功笔数/有效交易笔数成功笔数 / 有效交易笔数,但“有效交易”必须排除测试单、已明确作废的订单和不参与统计的业务类型。

窗口指标还要写明时间粒度与更新方式。例如一分钟窗口可以先输出初值,再在允许迟到时间内更新;累计指标则要说明作业重启后是否从状态恢复。所有指标均应给出币种处理规则,禁止直接把不同币种金额相加。

用最小数据验证需求

下面的 MySQL 示例把三类数据压缩为最小表结构,并计算商户级交易指标。它可作为离线对账基线,用于验证实时结果的业务口径。

sql
DROP TEMPORARY TABLE IF EXISTS trade_flow;
DROP TEMPORARY TABLE IF EXISTS payment_result;
DROP TEMPORARY TABLE IF EXISTS merchant_info;

CREATE TEMPORARY TABLE trade_flow (
  transaction_id VARCHAR(32) PRIMARY KEY,
  merchant_no VARCHAR(16) NOT NULL,
  amount DECIMAL(12, 2) NOT NULL
);

CREATE TEMPORARY TABLE payment_result (
  transaction_id VARCHAR(32) PRIMARY KEY,
  pay_status VARCHAR(16) NOT NULL
);

CREATE TEMPORARY TABLE merchant_info (
  merchant_no VARCHAR(16) PRIMARY KEY,
  merchant_name VARCHAR(64) NOT NULL
);

INSERT INTO trade_flow VALUES
('T10001', 'M1001', 88.00),
('T10002', 'M1001', 120.00);

INSERT INTO payment_result VALUES
('T10001', 'SUCCESS'),
('T10002', 'FAILED');

INSERT INTO merchant_info VALUES
('M1001', '星河商户');

SELECT
  m.merchant_name,
  COUNT(*) AS trade_count,
  SUM(CASE WHEN p.pay_status = 'SUCCESS' THEN 1 ELSE 0 END) AS success_count,
  CAST(SUM(CASE WHEN p.pay_status = 'SUCCESS' THEN 1 ELSE 0 END) / COUNT(*) AS DECIMAL(10, 4)) AS success_rate,
  SUM(CASE WHEN p.pay_status = 'SUCCESS' THEN t.amount ELSE 0 END) AS success_amount
FROM trade_flow t
JOIN payment_result p ON p.transaction_id = t.transaction_id
JOIN merchant_info m ON m.merchant_no = t.merchant_no
GROUP BY m.merchant_name;

预期结果:

text
merchant_name | trade_count | success_count | success_rate | success_amount
星河商户      | 2           | 1             | 0.5000       | 88.00

实时作业接收相同事件后,最终结果应与该基线一致。窗口尚未关闭或迟到数据仍在补算时,可以出现短暂差异,但必须在约定的最终一致时间内收敛。

明确验收条件

需求文档至少要给出四类验收条件:字段缺失时如何处理、重复事件如何去重、支付结果最晚允许迟到多久、商户信息变化后历史指标是否回刷。还要约定数据延迟、结果刷新频率和对账误差范围。

验收时同时检查“值是否正确”和“何时正确”。仅验证某一时刻的数字,而不验证迟到补算、作业恢复和重复投递,无法证明实时分析链路可用于生产。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

分析项目需求

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通