大数据与流处理 / 系统课时
停止与升级作业
停止与升级作业
本课解决运行中 Flink 作业如何安全停机、携带状态升级以及失败后回滚的问题。完成后,你可以根据场景选择 stop、cancel 或独立 Savepoint,并用一套可验证的命令完成版本切换。
学习目标
- 区分优雅停止、立即取消和独立 Savepoint 的适用场景
- 使用 Savepoint 停止旧作业并从状态启动新版本
- 识别算子 UID、状态兼容性和回滚时机等关键风险
选择正确的停止方式
stop 会在停止流式作业时创建最终 Savepoint,停止信号沿数据源到下游传播;cancel 直接取消作业,默认不会生成可用于升级的状态快照;savepoint 只创建快照,原作业仍继续运行。生产升级通常优先使用 stop,紧急止损且允许丢弃最近状态时才使用 cancel。:contentReference[oaicite:0]{index=0}
| 操作 | 作业是否停止 | 是否生成 Savepoint | 典型用途 |
|---|---|---|---|
stop |
是 | 是 | 计划停机、版本升级 |
cancel |
是 | 否 | 故障扩散、错误写入等紧急场景 |
savepoint |
否 | 是 | 升级前演练、状态备份、迁移验证 |
升级后还要继续恢复作业时,不要给 stop 增加 --drain。该参数会发出最大 Watermark,使事件时间定时器和窗口尽量完成,更适合永久终止;恢复同一流水线时可能导致结果不符合预期。:contentReference[oaicite:1]{index=1}
升级前检查
Savepoint 按算子 UID 映射状态。应为有状态算子设置稳定且唯一的 uid,升级时不要随意修改;自动生成的 UID 会受拓扑变化影响,可能导致状态无法匹配。还要提前验证状态序列化器、字段类型、窗口逻辑和并行度调整是否兼容。:contentReference[oaicite:2]{index=2}
DataStream<Order> orders = env
.fromSource(source, watermarkStrategy, "orders-source")
.uid("orders-source")
.keyBy(Order::merchantId)
.process(new MerchantStateFunction())
.uid("merchant-state")
.sinkTo(sink)
.uid("orders-sink");这是片段示例,依赖已经创建的 env、source、watermarkStrategy、Order、MerchantStateFunction 和 sink。生效后,Savepoint 可通过三个固定 UID 将旧状态映射到新作业中的对应算子。
执行可回滚升级

先将 <PATH>、<ID> 和 JAR 名称替换为实际值。stop 成功后,从输出中复制完整 Savepoint 路径,再启动新版本;不要根据目录规则自行猜测路径。
FLINK_HOME="<PATH>/flink"
OLD_JOB_ID="<ID>"
SAVEPOINT_ROOT="hdfs:///flink/savepoints"
"${FLINK_HOME}/bin/flink" stop \
--savepointPath "${SAVEPOINT_ROOT}" \
"${OLD_JOB_ID}"
SAVEPOINT_PATH="hdfs:///flink/savepoints/savepoint-<ID>"
NEW_JAR="<PATH>/orders-job-v2.jar"
"${FLINK_HOME}/bin/flink" run \
--detached \
--fromSavepoint "${SAVEPOINT_PATH}" \
"${NEW_JAR}"预期输出
Suspending job "<ID>" with a savepoint.
Savepoint completed. Path: hdfs:///flink/savepoints/savepoint-<ID>
Job has been submitted with JobID <ID>实际 JobID、Savepoint ID 和路径会不同。新作业启动后,应检查作业状态、首个成功 Checkpoint、消费位点、吞吐、延迟、异常率和下游数据一致性;验收完成前保留旧 JAR 与原 Savepoint。Flink 默认会严格匹配 Savepoint 中的全部状态,只有确认被删除状态可以安全舍弃时,才考虑 --allowNonRestoredState。:contentReference[oaicite:3]{index=3}
回滚与清理边界
新版本尚未产生有效业务输出时,可以取消新作业,再用原 Savepoint 和旧 JAR 启动。若新版本已经继续消费并写入下游,直接回到原 Savepoint 可能造成重复处理或外部数据倒退,应先停止新版本生成新的回滚 Savepoint,并确认旧代码能读取该状态;不兼容时需要结合消息重放、幂等写入或数据对账处理。
不要在新版本首次成功 Checkpoint 之前删除原 Savepoint。确认新版本稳定、回滚窗口结束且备份策略满足后,再使用 flink savepoint --dispose <PATH> 清理,避免直接删除导致元数据或状态文件残留。:contentReference[oaicite:4]{index=4}