大数据与流处理 / 系统课时
实时计算解决什么问题
实时计算解决什么问题
实时计算解决的是“数据已经发生,但业务不能等到明天才知道”的问题。学完本课,你将能判断一个需求是否需要实时处理,并理解实时计算与离线批处理在时效、处理方式和业务价值上的核心差异。
学习目标
- 说明实时计算适合解决的业务问题
- 区分实时计算与离线批处理的处理方式
- 根据时效要求判断合适的计算模式
从“事后统计”到“及时响应”
传统离线任务通常先积累一批数据,再按小时或按天统一计算。它适合生成日报、月报、历史趋势等结果,因为这些业务允许等待,重点是吞吐量和整体成本。
实时计算则在数据持续到达时不断处理,并尽快产出结果。它关注的不是“今天一共发生了什么”,而是“刚刚发生了什么,以及现在应该采取什么动作”。

实时计算的典型业务价值
实时计算最直接的价值是缩短“事件发生”和“业务响应”之间的时间。例如支付系统可以在异常交易出现后立即触发风控,监控平台可以在指标突增时及时告警,推荐系统可以根据用户刚刚的点击调整后续内容。
这些场景有一个共同点:结果越早产生,价值越高。若等到第二天再处理,风险已经扩大、用户已经离开,或者最佳决策时机已经错过。
实时不等于毫秒级
“实时”不是一个固定数字,而是业务可以接受的延迟范围。设备故障告警可能要求秒级响应,运营看板允许几十秒更新,订单汇总也许五分钟刷新一次就足够。
判断是否需要实时计算时,应先确认业务时效,而不是盲目追求最低延迟。延迟要求越严格,系统在资源、容错和运维上的成本通常越高。
与离线批处理的关键差异
| 对比维度 | 实时计算 | 离线批处理 |
|---|---|---|
| 数据形态 | 持续到达的事件流 | 已积累的有限数据集 |
| 处理时机 | 到达后尽快处理 | 按固定周期集中处理 |
| 结果延迟 | 毫秒、秒或分钟级 | 小时或天级 |
| 典型用途 | 风控、告警、实时指标 | 报表、历史分析、数据归档 |
两者并不是互相替代的关系。许多系统会同时保留实时链路和离线链路:实时链路负责快速响应,离线链路负责完整校准、历史重算和复杂分析。
如何判断一个需求是否需要实时计算
可以依次回答三个问题:结果晚几分钟是否会造成明显损失;数据是否持续产生且需要连续处理;业务是否会根据结果立即采取动作。三个问题中越多回答“是”,越适合采用实时计算。
若需求只是生成昨日销售汇总,即使数据量很大,也不一定需要实时系统。若需求是识别正在发生的异常支付,即使每秒只有少量事件,也可能需要实时处理。
按自己的节奏,确认真正理解。