可观测性与稳定性 / 系统课时

集群 yellow 和 red 怎么判断

集群 yellow 和 red 怎么判断

看到 Elasticsearch 集群变成 yellow 或 red 时,关键不是立即重启节点,而是先确认哪类分片没有分配,再追踪分配失败的具体原因。本节建立一条从健康状态、未分配分片到 allocation explain 的排查路径。

学习目标

  • 准确区分 green、yellow 和 red 的含义
  • 找出未分配的是主分片还是副本分片
  • 使用分片分配解释 API 定位无法分配的原因

先看状态代表什么

Elasticsearch 的健康状态主要反映分片分配情况。green 表示所有主分片和副本分片均已分配;yellow 表示所有主分片已经分配,但至少一个副本未分配;red 表示至少一个主分片未分配。

因此 yellow 与 red 的处理优先级不同。yellow 时主分片仍然可用,但冗余能力可能下降;red 则意味着部分主分片不可用,相关索引的数据读取或写入可能受到影响。

Elasticsearch 健康状态与未分配分片的判断流程

从健康状态缩小范围

先查询集群健康状态。将 <HOST> 和 <PORT> 替换为实际 Elasticsearch 地址和端口。

bash
curl -s "http://<HOST>:<PORT>/_cluster/health?pretty"

当集群因副本未分配而处于 yellow 时,返回结构可能类似下面这样。分片数量、节点数量和百分比取决于实际集群,不应把示例数值当作固定结果。

预期结果

json
{
  "cluster_name" : "<CLUSTER_NAME>",
  "status" : "yellow",
  "timed_out" : false,
  "number_of_nodes" : 1,
  "number_of_data_nodes" : 1,
  "active_primary_shards" : 1,
  "active_shards" : 1,
  "unassigned_shards" : 1
}

这里最重要的是 status 和 unassigned_shards。健康接口告诉你“存在问题”,但仅凭它还不能判断具体哪个索引、哪个分片出了问题。

找出哪个分片没有分配

下一步查看分片列表,并重点寻找 UNASSIGNED。相比直接翻日志,这一步能快速确定受影响的索引、分片编号以及它是主分片还是副本。

bash
curl -s "http://<HOST>:<PORT>/_cat/shards?v&h=index,shard,prirep,state,node,unassigned.reason"

预期结果可能包含如下行,其中具体索引名、分片编号和原因以实际集群为准。

text
index     shard prirep state      node     unassigned.reason
app-logs  0     p      STARTED    <NODE>   
app-logs  0     r      UNASSIGNED          <REASON>

prirep 为 p 表示主分片,为 r 表示副本。如果 yellow 集群中只有 r 处于 UNASSIGNED,应优先检查节点数量和分配约束;如果看到 p 未分配,则问题更严重,需要继续确认原分片数据是否还有可用副本或节点能够恢复。

用 allocation explain 查根因

确定存在未分配分片后,使用 cluster allocation explain API 查看 Elasticsearch 为什么拒绝把它放到候选节点。下面不指定具体分片,让 Elasticsearch 解释一个未分配分片。

bash
curl -s -X GET "http://<HOST>:<PORT>/_cluster/allocation/explain?pretty"

预期结果会包含被解释分片的索引、分片编号、主副本属性、当前状态以及不能分配的决策信息。实际 decider、解释文字和节点列表随根因而变化,不应预设固定返回值。

常见根因包括:只有一个数据节点却要求副本、磁盘水位阻止继续分配、节点角色不符合要求、索引或集群分配过滤规则排除了候选节点,以及分片副本无法在当前节点集合中找到合法位置。此时应根据 explain 返回的实际决策修复约束,而不是看到 yellow 就盲目增加节点或删除索引。

修复后验证是否真正恢复

如果根因是单节点开发环境配置了一个副本,并且该环境明确不要求副本容错,可以把该索引的副本数量调整为 0。生产环境是否这样处理必须由可用性要求决定。

bash
curl -X PUT "http://<HOST>:<PORT>/app-logs/_settings" \
  -H "Content-Type: application/json" \
  -d '{"index":{"number_of_replicas":0}}'

预期输出

json
{"acknowledged":true}

修复后再次检查健康状态和未分配分片,而不是只确认修改 API 返回成功。

bash
curl -s "http://<HOST>:<PORT>/_cluster/health?filter_path=status,unassigned_shards"

对于只有该副本问题且已经完成重新分配的示例环境,预期结果为:

json
{"status":"green","unassigned_shards":0}

如果状态仍未恢复,就继续以 UNASSIGNED 分片为入口重新执行 allocation explain。稳定的排障顺序应保持为“确认健康等级 → 找到未分配分片 → 解释分配决策 → 修复实际约束 → 再次验证”,这样才能避免用重启、删索引等高风险操作掩盖真正原因。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

集群 yellow 和 red 怎么判断

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通