大数据与流处理 / 系统课时

配置容错与恢复

配置容错与恢复

本课为实时交易分析作业补齐检查点、重启策略和精确一次输出,并通过主动终止 TaskManager 的实验验证作业能从最近一次成功检查点恢复,且已提交结果不会重复写入。

学习目标

  • 配置检查点、外部化检查点和自动重启策略
  • 理解端到端精确一次成立所需的边界条件
  • 通过故障注入验证状态恢复与结果一致性

先确定容错边界

Flink 的检查点会一致性地保存算子状态和数据源位置,但“开启检查点”不等于整个系统自动获得精确一次。端到端精确一次还要求数据源能够恢复读取位置,Sink 能在检查点完成后原子提交结果,检查点目录也必须在节点故障后仍可访问。

检查点与故障恢复数据流

生产集群不要把检查点写到某个 TaskManager 的本地磁盘。单机实验可以使用 file:///tmp/...,多节点环境应改为 HDFS、对象存储或其他所有执行节点都能访问的持久化文件系统。

配置检查点与精确一次输出

下面是可放入 Flink 1.18+ Maven 工程的完整入口类。示例使用超大范围的序列数据源和 FileSink:文件只有在检查点成功后才会从临时状态转为可见结果,因此适合观察精确一次提交行为。

java
package com.anystack.flink;

import org.apache.flink.api.common.restartstrategy.RestartStrategies;
import org.apache.flink.api.common.time.Time;
import org.apache.flink.api.common.serialization.SimpleStringEncoder;
import org.apache.flink.configuration.MemorySize;
import org.apache.flink.core.fs.Path;
import org.apache.flink.streaming.api.CheckpointingMode;
import org.apache.flink.streaming.api.environment.CheckpointConfig;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.connector.file.sink.FileSink;
import org.apache.flink.streaming.api.functions.sink.filesystem.rollingpolicies.DefaultRollingPolicy;

import java.time.Duration;

public class TradeRecoveryJob {

    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env =
                StreamExecutionEnvironment.getExecutionEnvironment();

        env.enableCheckpointing(10_000L, CheckpointingMode.EXACTLY_ONCE);

        CheckpointConfig checkpoint = env.getCheckpointConfig();
        checkpoint.setMinPauseBetweenCheckpoints(5_000L);
        checkpoint.setCheckpointTimeout(60_000L);
        checkpoint.setMaxConcurrentCheckpoints(1);
        checkpoint.enableExternalizedCheckpoints(
                CheckpointConfig.ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION);
        // 单机实验目录;集群部署时必须改为共享持久化存储。
        checkpoint.setCheckpointStorage("file:///tmp/flink-checkpoints");

        env.setRestartStrategy(
                RestartStrategies.fixedDelayRestart(3, Time.seconds(10)));

        FileSink<String> sink = FileSink
                .forRowFormat(
                        new Path("file:///tmp/trade-output"),
                        new SimpleStringEncoder<String>("UTF-8"))
                .withRollingPolicy(
                        DefaultRollingPolicy.builder()
                                .withRolloverInterval(Duration.ofMinutes(1))
                                .withInactivityInterval(Duration.ofSeconds(15))
                                .withMaxPartSize(MemorySize.ofMebiBytes(64))
                                .build())
                .build();

        env.fromSequence(1L, Long.MAX_VALUE)
                .map(id -> "trade-" + id)
                .returns(String.class)
                .sinkTo(sink)
                .name("exactly-once-file-sink");

        env.execute("trade-recovery-demo");
    }
}

预期结果

text
作业进入 RUNNING 状态,并周期性出现成功检查点。
检查点目录生成 chk-<ID>,输出目录持续产生已提交的 part 文件。
具体 JobID、检查点编号和文件名会因运行环境而不同。

如果项目使用 Kafka Sink,应启用事务型精确一次投递,并保证事务超时时间大于“检查点间隔、检查点超时和可能的重启耗时之和”。否则作业状态可以恢复,Kafka 事务却可能先过期。

执行故障实验

先以分离模式提交作业,等待至少一个检查点成功,再终止一个 TaskManager 并重新启动它。以下命令适用于 Flink Standalone 单机实验;生产环境通常由 Kubernetes、YARN 或进程管理器自动拉起失败进程。

bash
set -euo pipefail

export FLINK_HOME=<PATH>
JAR=<PATH>/flink-trade-analysis.jar

"$FLINK_HOME/bin/flink" run -d \
  -c com.anystack.flink.TradeRecoveryJob \
  "$JAR"

sleep 20

TM_PID="$(jps -l | awk '/TaskManagerRunner/{print $1; exit}')"
test -n "$TM_PID"
kill -9 "$TM_PID"

"$FLINK_HOME/bin/taskmanager.sh" start
sleep 20

"$FLINK_HOME/bin/flink" list -r
grep -E "Restoring job|Completed checkpoint" \
  "$FLINK_HOME"/log/*taskexecutor*.log | tail -n 10

预期输出

text
Job has been submitted with JobID <ID>
<TIME> : <ID> : trade-recovery-demo (RUNNING)
...
Restoring job <ID> from Checkpoint <ID>
Completed checkpoint <ID> for job <ID>

日志文本会随 Flink 版本略有不同,验证重点是作业经历重启后重新进入 RUNNING,并明确从成功检查点或其对应状态句柄恢复,而不是从空状态重新计算。

验证恢复结果

检查输出目录时只统计已经提交的 part-* 文件,不读取仍处于进行中的临时文件。下面的命令检查是否存在重复交易编号;没有任何输出代表当前已提交结果中未发现重复值。

bash
set -euo pipefail

find /tmp/trade-output -type f -name 'part-*' \
  ! -name '*.inprogress.*' -print0 \
  | xargs -0 cat \
  | sort \
  | uniq -d \
  | head

预期输出

text
<终端无输出>

这里的占位说明终端不打印任何内容。空输出只是本次实验的重复检查结果,还应同时确认检查点持续成功、失败后数据源位点被恢复、Sink 没有遗留无法提交的事务。若出现重复,优先检查 Sink 是否真正支持两阶段提交,以及作业是否从检查点恢复而不是无状态重启。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

配置容错与恢复

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通