大数据与流处理 / 系统课时

使用 Savepoint 做计划性恢复

使用 Savepoint 做计划性恢复

Savepoint 用于可控的停止、升级、迁移和重新提交:先主动生成一份可长期保留的状态快照,再用它启动新的作业实例。本课走完触发、停止、保留、恢复和清理流程,并把它与自动 Checkpoint 的职责分开。

学习目标

  • 区分 Savepoint 与自动 Checkpoint 的恢复职责
  • 使用 CLI 触发 Savepoint、带 Savepoint 停止作业并从指定路径恢复
  • 在升级或拓扑调整后验证状态映射,再安全清理旧 Savepoint

把 Savepoint 放进计划性变更链路

计划升级时,推荐把 Savepoint 当作一个明确的变更边界:运行中的作业先生成一致状态快照,快照落到稳定存储;旧作业停止后,再用新代码从该路径恢复。恢复成功不只意味着作业启动,还意味着有状态算子能把旧状态映射回正确的算子。

Savepoint 计划性停止与恢复流程

Checkpoint 通常由 Flink 周期性触发,用于运行期自动故障恢复;Savepoint 由用户主动触发,更适合发布、迁移、扩缩容或需要明确恢复点的运维动作。两者都保存一致状态,但生命周期和使用目的不同,不能把 Savepoint 当成高频 Checkpoint 的替代品。

触发快照或带快照停止

如果只想生成恢复点并让原作业继续运行,使用 savepoint。目标目录必须是 JobManager 和 TaskManager 都可访问的稳定存储位置。

bash
./bin/flink savepoint <JOB_ID> <SAVEPOINT_DIR>

预期输出

text
Triggering savepoint for job <JOB_ID>.
Waiting for response...
Savepoint completed. Path: <SAVEPOINT_PATH>
You can resume your program from this savepoint with the run command.

<JOB_ID>、<SAVEPOINT_DIR> 与最终 <SAVEPOINT_PATH> 以实际环境为准。命令成功后原作业继续运行,所以之后若继续处理了新数据,这个 Savepoint 代表的是触发时刻附近的一致状态,而不是“停止时的最终状态”。

如果目标就是计划性停机,可以让 Flink 先完成 Savepoint,再停止作业。

bash
./bin/flink stop --savepointPath <SAVEPOINT_DIR> <JOB_ID>

预期输出

text
Suspending job "<JOB_ID>" with a savepoint.
Savepoint completed. Path: <SAVEPOINT_PATH>

实际 CLI 提示文字可能随版本不同,但关键验收点只有两个:拿到可访问的 <SAVEPOINT_PATH>,并且旧作业在 Savepoint 成功后停止。只有明确希望推进到输入结束语义并触发相关事件时间定时器时,才考虑额外使用 drain 行为。

从指定 Savepoint 恢复

升级代码、调整并行度或迁移部署后,用 -s 指向刚才保留的 Savepoint。不要先删除这份快照;恢复链路尚未验收时,它仍然是回退基线。

bash
./bin/flink run -s <SAVEPOINT_PATH> <JOB_JAR>

预期输出

text
Starting execution of program
Job has been submitted with JobID <NEW_JOB_ID>

<JOB_JAR>、<NEW_JOB_ID> 等值因环境而异。恢复时最容易出问题的是算子状态映射:有状态算子应使用稳定且唯一的 UID,升级时不要随意修改。若新版本删除了带状态的算子,默认恢复可能因存在无法映射的状态而失败;只有确认这些旧状态确实应该丢弃时,才使用允许忽略未恢复状态的选项。

保留到验收完成再清理

新作业启动后,至少验证三件事:关键 Keyed State 或 Operator State 延续正确;新的 Checkpoint 能正常完成;Sink 端没有因为恢复点选择错误产生不可接受的重复或缺失。完成这些验证前保留原 Savepoint,便于快速回退。

确认不再需要后,可以显式释放对应 Savepoint。

bash
./bin/flink savepoint -d <SAVEPOINT_PATH>

预期输出

text
Disposing savepoint '<SAVEPOINT_PATH>'.
Waiting for response...
Savepoint '<SAVEPOINT_PATH>' disposed.

清理后就不能再依赖该路径恢复,因此不要把“新作业已经 RUNNING”作为删除条件。更稳妥的门槛是新版本状态验证通过、至少一个后续 Checkpoint 成功,并且回退窗口已经结束。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

使用 Savepoint 做计划性恢复

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通