大数据与流处理 / 系统课时

使用 Unaligned Checkpoint

使用 Unaligned Checkpoint

当持续反压让 Barrier 长时间排队时,Unaligned Checkpoint 可以不等待所有输入通道完成对齐,而把必要的在途数据一起纳入 Checkpoint。它能显著降低对齐等待,但会增加快照数据量和恢复成本,因此应针对高反压场景启用。

学习目标

  • 解释 Unaligned Checkpoint 如何绕开长时间的 Barrier Alignment
  • 正确配置 Exactly-Once 作业使用 Unaligned Checkpoint
  • 根据反压程度、Checkpoint 大小和恢复成本判断是否值得启用

非对齐改变了什么

传统对齐模式要求多输入算子收齐同一个 Checkpoint 的 Barrier,并在此期间阻塞已经先收到 Barrier 的通道。反压严重时,等待最慢通道就可能成为 Checkpoint 的主要耗时。

Unaligned Checkpoint 不再要求先把这些通道对齐到一个空净的边界。Barrier 到达后,算子可以更快推进 Checkpoint,同时将一致性恢复所需的在途数据与算子状态一并保存。恢复时,这些数据会重新进入对应的数据处理位置,因此仍能重建 Checkpoint 所代表的处理进度。

Aligned 与 Unaligned Checkpoint 的数据保存差异

因此,它不是取消一致性要求,而是改变“一致性边界如何被记录”:Aligned 模式通过等待排空边界获得一致性,Unaligned 模式则允许把边界附近仍在网络中的数据记录下来。

在作业中启用 Unaligned Checkpoint

Unaligned Checkpoint 面向 Exactly-Once 语义使用,并需要限制并发 Checkpoint。下面是配置片段示例,依赖已经创建好的 StreamExecutionEnvironment env,应在提交作业前完成设置。

java
import org.apache.flink.streaming.api.CheckpointingMode;
import org.apache.flink.streaming.api.environment.CheckpointConfig;

// Unaligned Checkpoint 用于 Exactly-Once Checkpoint。
env.enableCheckpointing(10_000L, CheckpointingMode.EXACTLY_ONCE);

CheckpointConfig checkpointConfig = env.getCheckpointConfig();
checkpointConfig.setCheckpointTimeout(60_000L);
checkpointConfig.setMaxConcurrentCheckpoints(1);
// 允许 Checkpoint 保存必要的在途网络数据,避免长时间等待对齐。
checkpointConfig.enableUnalignedCheckpoints();

配置本身没有固定控制台输出。验证时应让作业在可控的持续反压下运行,并比较启用前后的 Checkpoint 完成时间、失败次数以及 Checkpoint 数据量;实际数值取决于状态规模、并行度和网络中积压的数据量。

收益来自减少等待

Unaligned Checkpoint 最有价值的情况,是业务处理已经存在明显且持续的反压,而 Barrier Alignment 占用了大量 Checkpoint 时间。此时即使短期无法消除下游瓶颈,Checkpoint 仍需要稳定完成,以免作业长期没有新的可恢复点。

它主要改善的是 Barrier 在拥塞拓扑中的推进能力,并不会让业务算子本身变快。如果 Sink 每秒只能处理有限数据,开启 Unaligned Checkpoint 后业务吞吐不会凭空提高;变化的是 Checkpoint 不必再完全受最慢输入通道的对齐速度支配。

代价是保存更多在途数据

Aligned Checkpoint 通常不需要把大量网络积压作为 Checkpoint 内容保存,因此快照更紧凑。Unaligned Checkpoint 在反压越严重时,可能捕获越多在途数据,Checkpoint 大小、持久化 I/O 和恢复时需要重放的数据量都会随之增加。

关注点 Aligned Checkpoint Unaligned Checkpoint
Barrier 等待 需要等待输入对齐 可避免长时间对齐等待
高反压下完成时间 容易明显增长 通常更稳定
Checkpoint 数据量 通常较小 可能包含较多在途数据
恢复成本 主要恢复算子状态 还需恢复所记录的在途数据

因此,“Checkpoint 更快”与“Checkpoint 更便宜”不是同一件事。生产环境应同时比较完成耗时、快照大小、存储吞吐和恢复表现。

判断是否应该启用

如果作业大部分时间没有反压,对齐耗时很短,那么继续使用 Aligned Checkpoint 往往更简单,也能避免额外保存网络数据。偶发的短峰值也应先确认是否值得改变全局策略。

如果反压长期存在、对齐时间反复成为 Checkpoint 的主要耗时,而且短期无法通过扩容、消除热点或提升下游吞吐解决,则 Unaligned Checkpoint 更有价值。启用后还应继续治理业务瓶颈,因为它解决的是“在拥塞中如何可靠做快照”,而不是造成拥塞的根因。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

使用 Unaligned Checkpoint

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通