大数据与流处理 / 系统课时

容量评估与压测

容量评估与压测

本课给出一套面向 Flink 作业的容量评估方法:先定义业务负载与服务目标,再用阶梯压测找到稳定吞吐上限,最后结合延迟、反压、检查点和资源指标估算并行度与安全余量。

学习目标

  • 设计接近真实业务的数据分布和压测阶段
  • 通过关键指标识别 Source、算子、状态或 Sink 瓶颈
  • 计算稳定吞吐、目标容量与资源余量

明确压测目标与负载模型

压测不是单纯追求最高每秒记录数。开始前应写出验收条件,例如峰值吞吐、端到端 P95 延迟、允许的 Source 积压、检查点最长完成时间、失败恢复时间和资源利用率上限。只要其中一项超过阈值,就不能把该负载称为稳定容量。

负载模型至少包含事件大小、键基数、热点比例、乱序程度、窗口大小、状态 TTL、外部查询次数和目标端响应时间。平均大小相同的数据,如果 1% 热点键承载 60% 流量,会比均匀分布更容易形成单个子任务瓶颈。

建议采用阶梯压测:先预热,再按固定步长提高速率,每一级保持足够时间,使状态、检查点和缓存进入稳定区间;达到拐点后维持峰值,最后降低负载观察积压能否回落。瞬时冲高只能证明系统承受了短脉冲,不能证明可持续运行。

Flink 阶梯压测与容量拐点示意图

构造可控的 Flink 压测流量

先用 DataGen Source 和 BlackHole Sink 测出纯计算链路的上限,再接入真实 Kafka、数据库或外部服务测端到端容量。这样能区分算子瓶颈与外部系统瓶颈。

以下 SQL 在 Flink SQL Client 中创建每秒约 20000 条的测试流,并按用户桶执行持续聚合。实际输入速率应以运行指标为准,因为 Source 并行度和版本实现可能影响总速率。

sql
SET 'parallelism.default' = '4';

CREATE TABLE pressure_source (
  event_id BIGINT,
  user_id BIGINT,
  amount_cents BIGINT,
  payload STRING
) WITH (
  'connector' = 'datagen',
  'rows-per-second' = '20000',
  'fields.event_id.kind' = 'sequence',
  'fields.event_id.start' = '1',
  'fields.event_id.end' = '1000000000',
  'fields.user_id.min' = '1',
  'fields.user_id.max' = '1000000',
  'fields.amount_cents.min' = '1',
  'fields.amount_cents.max' = '100000',
  'fields.payload.length' = '128'
);

CREATE TABLE pressure_sink (
  user_bucket BIGINT,
  event_count BIGINT,
  total_amount BIGINT
) WITH (
  'connector' = 'blackhole'
);

INSERT INTO pressure_sink
SELECT
  MOD(user_id, 10000) AS user_bucket,
  COUNT(*) AS event_count,
  SUM(amount_cents) AS total_amount
FROM pressure_source
GROUP BY MOD(user_id, 10000);

预期结果:

text
SQL 作业提交后持续处于 RUNNING。
BlackHole Sink 不输出业务数据;作业指标中的输入速率逐步接近设定负载。

若要模拟热点键,可将大部分 user_id 映射到少量桶;若要模拟真实 Sink,替换 BlackHole 前必须确认测试环境限流、数据隔离和清理策略,避免压测写入生产表或触发真实通知。

观测指标并定位瓶颈

吞吐指标用于确认作业是否真正吃到设定负载,延迟与积压用于判断系统是否跟得上。端到端延迟最好由事件携带产生时间,并在目标端记录完成时间后计算 P95、P99;仅看算子处理耗时会漏掉排队、网络和 Sink 等待。

指标 健康表现 异常信号
Records In/Out Rate 随负载同步增长 输入增加但输出停滞
Busy Time 有余量且相对稳定 长期接近满负载
Backpressure Time 接近零或短暂波动 持续升高且向上游传播
Source Lag 稳定或回落 持续增长
Checkpoint Duration 在阈值内稳定 随状态增长不断拉长
CPU、GC、内存、网络 无持续饱和 任一资源长期顶满

若上游 idle 很高且输入速率达不到目标,先检查生成器、Kafka 分区或 Source 并行度。若某个算子 busy 很高但反压不明显,通常是计算或数据倾斜。若下游反压持续上升,优先检查 Sink 批量大小、连接池、外部限流和网络。若检查点越来越慢,则关注状态大小、增量快照、存储带宽和对齐等待。

单看平均 CPU 容易误判。一个热点子任务满载、其他子任务空闲时,作业平均值可能仍然不高,因此必须下钻到子任务级别比较最大值、最小值和分位差异。

计算稳定容量与资源余量

把“稳定吞吐”定义为:在一个完整保持阶段内,吞吐不下降、积压不持续增长、P95 延迟和检查点耗时都满足阈值,且没有持续资源饱和。第一个违反条件的负载级别是失稳点,前一级才是可用稳定容量。

假设 4 个并行实例在稳定条件下达到每秒 80000 条,业务预测峰值为每秒 50000 条,则当前吞吐余量为 (80000 - 50000) / 80000 = 37.5%。若要求至少保留 30% 余量,所需目标容量为 50000 / (1 - 0.30) ≈ 71429 条每秒,当前配置满足要求。

在近似线性扩展成立时,可用 所需并行度 = ceil(压测并行度 × 目标容量 / 稳定容量) 做初步估算。上述数据得到 ceil(4 × 71429 / 80000) = 4。但如果瓶颈在单分区、热点键、共享数据库或外部限流,增加并行度不会线性提升容量,必须先消除固定瓶颈再重测。

容量报告至少记录代码与配置版本、测试数据模型、每级负载持续时间、稳定容量、失稳点、各指标峰值、故障恢复结果和建议余量。没有这些条件,单独写“可达十万 TPS”无法用于上线决策。

验收与复测

最终验收应至少执行一次目标峰值保持、一次超过目标的保护性冲击,以及一次故障恢复测试。恢复后不仅要看作业重新运行,还要确认 Source Lag 能回落、检查点重新稳定、结果没有重复或缺失。

配置、状态结构、并行度、连接器版本、外部系统容量或数据分布发生变化后,都应重新压测。历史结论只能代表当时的完整环境,不能永久沿用。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

容量评估与压测

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通