大数据与流处理 / 系统课时

观察状态与 Checkpoint 指标

观察状态与 Checkpoint 指标

这一课把“Checkpoint 看起来正常吗”变成一套可复核的读数方法:先从 Web UI 找到最近检查点,再结合状态体积、耗时、对齐、失败计数与恢复信号,判断问题更像状态增长、反压还是存储侧异常。

学习目标

  • 能从 Flink Web UI 的 Checkpoints 页面读取最近检查点的状态与耗时。
  • 能区分检查点增量大小、完整状态大小、对齐时间和屏障到达延迟。
  • 能用 REST 指标留下可比较的运行证据,而不是只凭单次截图判断。

先看 Checkpoints 页再看单个算子

进入正在运行的 Job 后打开 Checkpoints。先看最近几次检查点是 COMPLETED、FAILED 还是仍在进行,再比较端到端耗时、数据大小和各算子的子任务明细。若只有某个算子或少数 subtask 明显偏慢,应继续下钻到该节点,而不是直接修改全局超时。

Flink Web UI 中的 Checkpoints 观察位置

Web UI 的字段名称会随版本略有差异,但核心读法一致:先确认检查点是否完成,再看持续时间和大小,最后下钻到 task/subtask 的屏障传播与对齐信号。Flink 还提供作业级 lastCheckpointDuration、lastCheckpointSize、lastCheckpointFullSize、numberOfFailedCheckpoints 与恢复时间戳等指标。([Apache Nightlies][1])

用几组指标判断问题落在哪一层

指标或页面字段 主要回答的问题 典型解读
lastCheckpointDuration / End to End Duration 最近一次检查点花了多久 持续升高说明先要继续拆分屏障传播、快照和存储耗时
lastCheckpointSize 本次实际 checkpoint 的数据量多大 启用增量 checkpoint 或 changelog 时,它可能只是本次增量,不能直接当作全部状态
lastCheckpointFullSize 对应 checkpoint 的完整状态规模多大 适合观察状态是否长期增长
checkpointStartDelayNanos checkpoint 创建后,屏障多久才到达当前 task 值高常提示上游传播受阻,可与反压指标一起判断
checkpointAlignmentTime 多输入 task 从收到第一个到最后一个 barrier 等了多久 值高说明输入进度不均或存在反压,需要定位最慢输入
numberOfFailedCheckpoints 检查点失败是否在累积 只能说明症状,应结合失败详情和日志找原因
lastCheckpointRestoreTimestamp 最近是否发生过从 checkpoint 恢复 说明发生过恢复,不等于恢复后的作业一定健康

启用增量 checkpoint 后,Web UI 中的 Checkpointed Data Size 可能只表示本次增量,而不是完整状态大小。因此判断“状态是不是越来越大”时,应优先看完整状态规模或连续多次 checkpoint 的趋势,避免把增量很小误判成总状态很小。([Apache Nightlies][2])

用 REST API 留下可比较的证据

Web UI 适合快速浏览,REST API 更适合把同一组指标定期采样。下面请求作业级 checkpoint 指标;先把 <HOST>、<PORT> 和 <JOB_ID> 替换成实际值,其中 REST 与 Web UI 通常由同一 JobManager Web 服务提供。

bash
curl -s "http://<HOST>:<PORT>/jobs/<JOB_ID>/metrics?get=lastCheckpointDuration,lastCheckpointSize,lastCheckpointFullSize,numberOfFailedCheckpoints,lastCheckpointRestoreTimestamp"

预期输出

json
[
  {"id":"lastCheckpointDuration","value":"<DURATION_MS>"},
  {"id":"lastCheckpointSize","value":"<CHECKPOINTED_BYTES>"},
  {"id":"lastCheckpointFullSize","value":"<FULL_BYTES>"},
  {"id":"numberOfFailedCheckpoints","value":"<COUNT>"},
  {"id":"lastCheckpointRestoreTimestamp","value":"<TIMESTAMP_MS>"}
]

实际数值和返回顺序可能不同;如果某个指标在当前作业或版本中未注册,它也可能不出现在结果中。Flink 的 Monitoring REST API 支持通过 /jobs/<jobid>/metrics 查询作业指标,也提供 /jobs/<jobid>/checkpoints 和单次 checkpoint 详情接口。([Apache Nightlies][3])

把恢复信号和当前健康状态分开

看到恢复时间戳时,不要直接得出“容错已经成功”的结论。还要确认 Job 当前处于 RUNNING,最近的 checkpoint 已重新稳定完成,并检查恢复后状态大小、处理吞吐和失败计数是否回到基线。恢复只证明作业尝试从某个快照重新启动,后续是否健康仍要靠新的运行指标验证。

一次有价值的观测至少应回答三个问题:最近 checkpoint 是否成功、耗时主要卡在哪一段、状态规模是否异常变化。把这三类证据同时保留下来,后续排障才不会陷入“只看到总耗时变长,却不知道为什么”的死胡同。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

观察状态与 Checkpoint 指标

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通