NoSQL 与搜索 / 系统课时

定义生产集群 SLI 与故障边界

定义生产集群 SLI 与故障边界

生产运维不能只盯着 /_cluster/health 是否为 green。本课把用户可感知的可用性、搜索延迟、写入成功率和恢复能力拆成可计算的 SLI,并划清用户体验、集群内部健康与数据恢复三层边界,让告警和故障升级都有统一口径。

学习目标

  • 为可用性、延迟、写入和恢复能力定义可计算的 SLI。
  • 区分用户侧 SLI 与 cluster health、节点资源、分片状态等诊断指标。
  • 用 Elasticsearch 监控 API 验证集群风险,并把风险映射到故障等级。

先把 SLI 写成可计算口径

SLI 是“实际测到了什么”,SLO 才是“希望它达到多少”。生产环境先固定统计窗口、流量范围和成功条件,再设置目标值;否则同一个“99.9% 可用性”可能因排除规则不同而得到完全不同的结果。

SLI 推荐测量点 计算口径 关键边界
搜索可用性 客户端或入口网关 成功搜索请求数 / 有效搜索请求总数 429、5xx 通常应计为服务失败;是否接受部分分片结果必须提前约定
搜索延迟 客户端或入口网关 端到端耗时的 P95/P99 不要只用 Elasticsearch 内部 took 代替用户端延迟
写入成功率 写入客户端或采集层 成功写入条目数 / 有效写入条目数 Bulk API 即使 HTTP 返回 200,也要按 item 的 status 和 error 判断
恢复能力 恢复演练记录 满足 RPO 且满足 RTO 的演练次数 / 总演练次数 只有“快照成功”不能证明数据真的可恢复

对“有效请求”的排除规则要足够窄,例如可以排除明确属于调用方语法错误的请求,但不能为了让数字好看而排除 429、超时或集群过载造成的失败。延迟也应固定统计口径,例如成功请求与失败请求分开观察,避免大量快速失败把 P95 人为拉低。

把故障边界落到三层

第一层是用户边界:只看请求是否成功、是否足够快、写入是否得到符合业务契约的确认。第二层是集群边界:分片未分配、节点离线、队列堆积、GC、磁盘水位等指标用于说明风险和根因。第三层是恢复边界:当在线副本已经无法兜底时,快照与恢复演练决定数据能否在目标时间内重新提供服务。

用户 SLI、集群健康与恢复能力的三层故障边界

green 表示所有分片已分配,yellow 表示主分片已分配但至少一个副本未分配,red 表示至少一个主分片未分配。它们描述的是分片分配状态,不是端到端服务质量:yellow 时业务可能仍能读写,但容错余量已经下降;red 时也可能只是部分索引受影响。:contentReference[oaicite:0]{index=0}

用集群 API 采集诊断信号

下面的只读探针适合接入巡检脚本或监控采集器。API Key 至少需要集群 monitor 权限;把 <ES_URL> 和 <API_KEY> 替换为实际值,返回中的节点数等动态字段会随环境变化。

bash
export ELASTICSEARCH_URL="<ES_URL>"
export ELASTIC_API_KEY="<API_KEY>"

curl -sS \
  -H "Authorization: ApiKey ${ELASTIC_API_KEY}" \
  "${ELASTICSEARCH_URL}/_cluster/health?pretty&filter_path=status,timed_out,number_of_nodes,unassigned_primary_shards,unassigned_shards,number_of_pending_tasks"

预期输出

text
{
  "status" : "green",
  "timed_out" : false,
  "number_of_nodes" : <VALUE>,
  "unassigned_shards" : 0,
  "number_of_pending_tasks" : 0,
  "unassigned_primary_shards" : 0
}

这个结果只能证明采样时刻的分片分配与集群任务状态。真正的 SLI 仍应从请求入口统计;当可用性或延迟越过 SLO 时,再用 /_cluster/health、节点统计、线程池、磁盘和分片分配信息缩小根因范围,而不是反过来用 green 作为“业务正常”的充分条件。

把恢复能力变成可验证目标

恢复能力至少要记录两个实际值:RPO_actual = 故障时刻 - 最新成功恢复的数据时刻,以及 RTO_actual = 服务重新可用时刻 - 服务中断时刻。实际落表时建议直接保存故障开始、最新恢复数据、恢复完成和应用验收通过四个时间点,再由监控系统计算结果,避免人工填写“达标/不达标”。

恢复 SLO 不应只检查快照任务状态。定期在隔离环境执行恢复,验证索引能打开、关键文档可查询、写入链路可恢复,并把 RPO_actual <= RPO_target 与 RTO_actual <= RTO_target 同时作为通过条件。这样在线 SLI、内部故障信号和灾备能力才形成闭环:用户指标决定是否发生服务事件,内部指标帮助定位,恢复指标决定最坏情况下能否回到可接受状态。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

定义生产集群 SLI 与故障边界

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通