可观测性与稳定性 / 系统课时
集群 yellow 和 red 怎么判断
集群 yellow 和 red 怎么判断
看到 Elasticsearch 集群变成 yellow 或 red 时,关键不是立即重启节点,而是先确认哪类分片没有分配,再追踪分配失败的具体原因。本节建立一条从健康状态、未分配分片到 allocation explain 的排查路径。
学习目标
- 准确区分
green、yellow和red的含义 - 找出未分配的是主分片还是副本分片
- 使用分片分配解释 API 定位无法分配的原因
先看状态代表什么
Elasticsearch 的健康状态主要反映分片分配情况。green 表示所有主分片和副本分片均已分配;yellow 表示所有主分片已经分配,但至少一个副本未分配;red 表示至少一个主分片未分配。
因此 yellow 与 red 的处理优先级不同。yellow 时主分片仍然可用,但冗余能力可能下降;red 则意味着部分主分片不可用,相关索引的数据读取或写入可能受到影响。

从健康状态缩小范围
先查询集群健康状态。将 <HOST> 和 <PORT> 替换为实际 Elasticsearch 地址和端口。
curl -s "http://<HOST>:<PORT>/_cluster/health?pretty"当集群因副本未分配而处于 yellow 时,返回结构可能类似下面这样。分片数量、节点数量和百分比取决于实际集群,不应把示例数值当作固定结果。
预期结果
{
"cluster_name" : "<CLUSTER_NAME>",
"status" : "yellow",
"timed_out" : false,
"number_of_nodes" : 1,
"number_of_data_nodes" : 1,
"active_primary_shards" : 1,
"active_shards" : 1,
"unassigned_shards" : 1
}这里最重要的是 status 和 unassigned_shards。健康接口告诉你“存在问题”,但仅凭它还不能判断具体哪个索引、哪个分片出了问题。
找出哪个分片没有分配
下一步查看分片列表,并重点寻找 UNASSIGNED。相比直接翻日志,这一步能快速确定受影响的索引、分片编号以及它是主分片还是副本。
curl -s "http://<HOST>:<PORT>/_cat/shards?v&h=index,shard,prirep,state,node,unassigned.reason"预期结果可能包含如下行,其中具体索引名、分片编号和原因以实际集群为准。
index shard prirep state node unassigned.reason
app-logs 0 p STARTED <NODE>
app-logs 0 r UNASSIGNED <REASON>prirep 为 p 表示主分片,为 r 表示副本。如果 yellow 集群中只有 r 处于 UNASSIGNED,应优先检查节点数量和分配约束;如果看到 p 未分配,则问题更严重,需要继续确认原分片数据是否还有可用副本或节点能够恢复。
用 allocation explain 查根因
确定存在未分配分片后,使用 cluster allocation explain API 查看 Elasticsearch 为什么拒绝把它放到候选节点。下面不指定具体分片,让 Elasticsearch 解释一个未分配分片。
curl -s -X GET "http://<HOST>:<PORT>/_cluster/allocation/explain?pretty"预期结果会包含被解释分片的索引、分片编号、主副本属性、当前状态以及不能分配的决策信息。实际 decider、解释文字和节点列表随根因而变化,不应预设固定返回值。
常见根因包括:只有一个数据节点却要求副本、磁盘水位阻止继续分配、节点角色不符合要求、索引或集群分配过滤规则排除了候选节点,以及分片副本无法在当前节点集合中找到合法位置。此时应根据 explain 返回的实际决策修复约束,而不是看到 yellow 就盲目增加节点或删除索引。
修复后验证是否真正恢复
如果根因是单节点开发环境配置了一个副本,并且该环境明确不要求副本容错,可以把该索引的副本数量调整为 0。生产环境是否这样处理必须由可用性要求决定。
curl -X PUT "http://<HOST>:<PORT>/app-logs/_settings" \
-H "Content-Type: application/json" \
-d '{"index":{"number_of_replicas":0}}'预期输出
{"acknowledged":true}修复后再次检查健康状态和未分配分片,而不是只确认修改 API 返回成功。
curl -s "http://<HOST>:<PORT>/_cluster/health?filter_path=status,unassigned_shards"对于只有该副本问题且已经完成重新分配的示例环境,预期结果为:
{"status":"green","unassigned_shards":0}如果状态仍未恢复,就继续以 UNASSIGNED 分片为入口重新执行 allocation explain。稳定的排障顺序应保持为“确认健康等级 → 找到未分配分片 → 解释分配决策 → 修复实际约束 → 再次验证”,这样才能避免用重启、删索引等高风险操作掩盖真正原因。