大数据与流处理 / 系统课时
使用 Unaligned Checkpoint
使用 Unaligned Checkpoint
当持续反压让 Barrier 长时间排队时,Unaligned Checkpoint 可以不等待所有输入通道完成对齐,而把必要的在途数据一起纳入 Checkpoint。它能显著降低对齐等待,但会增加快照数据量和恢复成本,因此应针对高反压场景启用。
学习目标
- 解释 Unaligned Checkpoint 如何绕开长时间的 Barrier Alignment
- 正确配置 Exactly-Once 作业使用 Unaligned Checkpoint
- 根据反压程度、Checkpoint 大小和恢复成本判断是否值得启用
非对齐改变了什么
传统对齐模式要求多输入算子收齐同一个 Checkpoint 的 Barrier,并在此期间阻塞已经先收到 Barrier 的通道。反压严重时,等待最慢通道就可能成为 Checkpoint 的主要耗时。
Unaligned Checkpoint 不再要求先把这些通道对齐到一个空净的边界。Barrier 到达后,算子可以更快推进 Checkpoint,同时将一致性恢复所需的在途数据与算子状态一并保存。恢复时,这些数据会重新进入对应的数据处理位置,因此仍能重建 Checkpoint 所代表的处理进度。

因此,它不是取消一致性要求,而是改变“一致性边界如何被记录”:Aligned 模式通过等待排空边界获得一致性,Unaligned 模式则允许把边界附近仍在网络中的数据记录下来。
在作业中启用 Unaligned Checkpoint
Unaligned Checkpoint 面向 Exactly-Once 语义使用,并需要限制并发 Checkpoint。下面是配置片段示例,依赖已经创建好的 StreamExecutionEnvironment env,应在提交作业前完成设置。
import org.apache.flink.streaming.api.CheckpointingMode;
import org.apache.flink.streaming.api.environment.CheckpointConfig;
// Unaligned Checkpoint 用于 Exactly-Once Checkpoint。
env.enableCheckpointing(10_000L, CheckpointingMode.EXACTLY_ONCE);
CheckpointConfig checkpointConfig = env.getCheckpointConfig();
checkpointConfig.setCheckpointTimeout(60_000L);
checkpointConfig.setMaxConcurrentCheckpoints(1);
// 允许 Checkpoint 保存必要的在途网络数据,避免长时间等待对齐。
checkpointConfig.enableUnalignedCheckpoints();配置本身没有固定控制台输出。验证时应让作业在可控的持续反压下运行,并比较启用前后的 Checkpoint 完成时间、失败次数以及 Checkpoint 数据量;实际数值取决于状态规模、并行度和网络中积压的数据量。
收益来自减少等待
Unaligned Checkpoint 最有价值的情况,是业务处理已经存在明显且持续的反压,而 Barrier Alignment 占用了大量 Checkpoint 时间。此时即使短期无法消除下游瓶颈,Checkpoint 仍需要稳定完成,以免作业长期没有新的可恢复点。
它主要改善的是 Barrier 在拥塞拓扑中的推进能力,并不会让业务算子本身变快。如果 Sink 每秒只能处理有限数据,开启 Unaligned Checkpoint 后业务吞吐不会凭空提高;变化的是 Checkpoint 不必再完全受最慢输入通道的对齐速度支配。
代价是保存更多在途数据
Aligned Checkpoint 通常不需要把大量网络积压作为 Checkpoint 内容保存,因此快照更紧凑。Unaligned Checkpoint 在反压越严重时,可能捕获越多在途数据,Checkpoint 大小、持久化 I/O 和恢复时需要重放的数据量都会随之增加。
| 关注点 | Aligned Checkpoint | Unaligned Checkpoint |
|---|---|---|
| Barrier 等待 | 需要等待输入对齐 | 可避免长时间对齐等待 |
| 高反压下完成时间 | 容易明显增长 | 通常更稳定 |
| Checkpoint 数据量 | 通常较小 | 可能包含较多在途数据 |
| 恢复成本 | 主要恢复算子状态 | 还需恢复所记录的在途数据 |
因此,“Checkpoint 更快”与“Checkpoint 更便宜”不是同一件事。生产环境应同时比较完成耗时、快照大小、存储吞吐和恢复表现。
判断是否应该启用
如果作业大部分时间没有反压,对齐耗时很短,那么继续使用 Aligned Checkpoint 往往更简单,也能避免额外保存网络数据。偶发的短峰值也应先确认是否值得改变全局策略。
如果反压长期存在、对齐时间反复成为 Checkpoint 的主要耗时,而且短期无法通过扩容、消除热点或提升下游吞吐解决,则 Unaligned Checkpoint 更有价值。启用后还应继续治理业务瓶颈,因为它解决的是“在拥塞中如何可靠做快照”,而不是造成拥塞的根因。