可观测性与稳定性 / 系统课时

集群 red 时如何抢救数据

集群 red 时如何抢救数据

Elasticsearch 集群进入 red,关键不是立刻重建节点,而是先确认哪些主分片不可用、是否仍有可恢复数据,以及修复后能否重新分配。沿着“分片→节点→恢复条件”的顺序处理,可以避免误操作进一步扩大数据损失。

学习目标

  • 能区分 red 状态对应的主分片缺失与普通副本问题
  • 能用分片、节点和分配诊断命令确定恢复路径
  • 能判断何时应修复节点,何时需要从快照等备份恢复

先确认 red 到底意味着什么

red 表示至少存在未分配的主分片,因此部分索引数据当前不可用。先看集群健康和未分配分片数量,不要直接执行删除索引、强制重新分配等破坏性操作。

图片说明:Elasticsearch red 集群的数据抢救诊断路径

按分片定位受影响的数据

先执行以下命令,确认集群中到底有多少未分配主分片,并结合索引名称判断影响范围。

bash
curl -sS "http://<HOST>:9200/_cluster/health?level=indices" | jq '{status,active_primary_shards,unassigned_shards}'
curl -sS "http://<HOST>:9200/_cat/shards?v&h=index,shard,prirep,state,node,unassigned.reason"

预期结果

text
status: red
active_primary_shards: 5
unassigned_shards: 1

index        shard prirep state      node
orders       0     p      STARTED    es-data-1
orders       1     p      UNASSIGNED -
orders       1     r      UNASSIGNED -

示例中的 orders 主分片 1 未分配,说明该分片对应的数据不可正常服务;同一分片的副本也未分配时,不能把问题简单理解为“副本少了一份”。实际字段和数量会随集群变化。

判断是节点故障还是分配条件阻断

继续对指定索引分片执行 allocation explain,可以看到 Elasticsearch 为什么拒绝把分片放到候选节点。重点关注 can_allocate 和各节点的 deciders,它们比反复重启容器更适合用于定位根因。

bash
curl -sS -X POST "http://<HOST>:9200/_cluster/allocation/explain?include_yes_decisions=true" \
  -H 'Content-Type: application/json' \
  -d '{
    "index": "orders",
    "shard": 1,
    "primary": true
  }' | jq '{index,shard,primary,can_allocate,allocate_explanation,deciders:[.node_allocation_decisions[] | {node_name,node_decision,deciders:[.deciders[] | {decider,decision,explanation}]}]}'

预期结果

text
{
  "index": "orders",
  "shard": 1,
  "primary": true,
  "can_allocate": "no",
  "allocate_explanation": "cannot allocate because node is unavailable",
  "deciders": [
    {
      "node_name": "es-data-2",
      "node_decision": "no"
    }
  ]
}

若原因指向节点不可用,先恢复该节点及其磁盘、网络或进程;若原因是磁盘水位、allocation filtering 或同分片约束,则应修复对应条件。不要为了让分片“变绿”而绕过保护规则。

评估可恢复性再决定动作

最安全的恢复顺序通常是“恢复原节点或分配条件→重新观察分片→确认主分片恢复→检查集群健康”。节点回来后,可重新查看目标分片是否从 UNASSIGNED 进入恢复状态并最终变为 STARTED。

当主分片所在节点已经丢失,而且该主分片没有可用副本时,普通重新分配不能凭空生成原数据。这时应停止具有破坏性的尝试,确认是否存在可用快照或其他可靠备份,再走恢复流程。

恢复后怎样验收

修复动作完成后,同时检查集群健康、目标分片状态和业务索引是否可读。只有看到目标主分片正常分配,并且实际查询能够读到关键数据,才能认为抢救完成。

bash
curl -sS "http://<HOST>:9200/_cluster/health?wait_for_status=yellow&timeout=30s" | jq '{status,active_primary_shards,unassigned_shards}'
curl -sS "http://<HOST>:9200/orders/_search?size=1" | jq '{timed_out,hits:{total:.hits.total,first:.hits.hits[0]._id}}'

预期结果

text
{
  "status": "yellow",
  "active_primary_shards": 6,
  "unassigned_shards": 0
}
{
  "timed_out": false,
  "hits": {
    "total": {
      "value": 1000,
      "relation": "gte"
    },
    "first": "<ID>"
  }
}

这里的 yellow 只表示可能仍有副本未分配;对 red 抢救而言,关键验收项是受影响主分片已经恢复并且业务查询能够正常读取。若主分片确实无法从现有节点或副本恢复,就应把“备份可用性”和“可接受的数据回退范围”作为下一步决策依据。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

集群 red 时如何抢救数据

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通