大数据与流处理 / 系统课时
评估 ForStStateBackend
评估 ForStStateBackend
ForStStateBackend 面向状态与计算分离的场景:把可持久化的 SST 放到远端文件系统,本地磁盘主要承担缓存与少量本地文件,从而降低大状态对单机磁盘容量的绑定。本节重点不是“立刻替换 RocksDB”,而是建立一套可验证的试用判断标准。
学习目标
- 说明 ForSt 的远端 SST、本地缓存与检查点之间的关系
- 识别 ForSt 相比 EmbeddedRocksDBStateBackend 更有价值的工作负载
- 根据当前能力边界判断是否适合进入试验或生产评估
先看 ForSt 解决什么
EmbeddedRocksDBStateBackend 的工作状态主要落在 TaskManager 本地磁盘,单个节点可承载的状态量会受到本地盘容量和恢复下载时间影响。ForSt 仍采用 LSM-tree 思路,但把 SST 的主存储位置扩展到 Flink 支持的远端文件系统,例如 HDFS 或对象存储,让状态容量不再直接受单机磁盘上限约束。

这类分离式设计的直接收益是:扩容和故障恢复时,不必把“完整工作状态必须先装进某块本地盘”作为前提;远端 SST 已经具备持久性,检查点可以更轻量地记录一致性边界并复用已有文件。本地缓存仍很重要,因为热点状态若频繁回源到远端,访问延迟会明显受网络与对象存储性能影响。
远端状态不等于没有本地盘
ForSt 会使用 TaskManager 本地目录保存元数据、缓存或缓冲数据。本地盘从“状态唯一工作载体”变成“性能层”,因此容量压力会下降,但磁盘性能、缓存命中率和远端吞吐仍会共同决定状态访问成本。
当前 ForSt 更适合与异步状态访问一起评估。异步 API 可以把远端 I/O 等待与记录处理并行起来,减轻网络时延造成的阻塞;如果作业大量使用同步状态 API,就要特别验证是否真的获得了分离式状态收益,而不是只把后端名称换成了 ForSt。
用最小配置做一次试验
下面以当前 config.yaml 风格给出一个试验配置。远端路径、凭据和文件系统插件必须由集群实际环境提供,<BUCKET> 是占位符。
state.backend.type: forst
execution.checkpointing.interval: 30 s
execution.checkpointing.storage: filesystem
execution.checkpointing.dir: s3://<BUCKET>/flink-checkpoints
state.backend.forst.primary-dir: checkpoint-dir
state.backend.forst.local-dir: /data/flink/forst
state.backend.forst.cache.dir: /data/flink/forst-cache生效后应验证三件事:作业实际使用 ForSt;检查点能够持续完成并写入持久化目录;本地缓存目录会产生缓存文件,但删除本地缓存后仍能依赖远端持久化状态恢复。不同版本的 ForSt 配置项仍在演进,升级前应按目标版本重新核对配置参考。
判断什么时候值得试用
如果单作业状态已经逼近本地盘容量,长窗口或大 Keyed State 让扩容与恢复越来越重,且运行环境具备稳定的远端文件系统和足够网络带宽,ForSt 很值得做基准测试。云原生环境中频繁弹性伸缩、希望减少本地状态搬运的作业,也属于优先评估对象。
如果状态规模不大、热点状态要求极低访问延迟,或业务依赖成熟的完整快照、canonical savepoint、state changelog、文件合并检查点等能力,就不应只为“新后端”而迁移。ForSt 目前仍属于实验性能力,并始终采用异步增量快照;生产采用前要用故障恢复、升级、扩缩容和远端存储抖动测试证明收益大于复杂度。
评估 ForSt 的关键不是比较单次 benchmark 的吞吐,而是同时观察状态容量上限、远端读取比例、检查点耗时、恢复时间和故障时的网络依赖。只有这些指标共同改善,分离式状态才真正解决了当前作业的问题。