可观测性与稳定性 / 系统课时

索引变只读后怎么恢复

索引变只读后怎么恢复

索引突然无法写入,常见现象是 Elasticsearch 返回 cluster_block_exception 或提示索引处于只读保护。恢复的关键不是直接强行解锁,而是先确认磁盘水位,再释放空间、解除写保护,最后用一次真实写入验证恢复链路。

学习目标

  • 能从磁盘使用率和集群设置判断是否由磁盘水位触发保护
  • 能安全释放空间并解除索引只读状态
  • 能通过写入验证确认业务恢复,而不是只看到状态变化

先判断是不是磁盘水位

先检查各节点文件系统空间。Elasticsearch 的磁盘水位保护是为了避免磁盘继续被写满,因此看到只读索引时,第一件事应是确认节点磁盘,而不是立即修改索引设置。

bash
df -h
curl -s "http://<HOST>:<PORT>/_cat/allocation?v"

预期结果

text
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda1       200G  188G   12G  95% /

shards disk.indices disk.used disk.avail disk.total disk.percent host    node
...    ...          ...       12gb       200gb      95          ...     ...

实际节点、挂载点和数值会不同。重点观察承载数据目录的文件系统是否接近或超过配置的高水位、flood-stage 水位。

Elasticsearch 磁盘水位触发写保护后的恢复路径

先释放空间,再解除限制

空间处理应优先解决根因。可以删除已经确认不再需要的历史索引、清理无关文件或扩容数据盘;不要为了让写入立刻恢复而长期保留接近满盘的状态。尤其不要直接删除 Elasticsearch 数据目录中的文件,这会绕过正常的索引与分片管理。

处理后再次验证:

bash
df -h
curl -s "http://<HOST>:<PORT>/_cluster/health?level=indices"

预期结果

text
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda1       200G  160G   40G  80% /

{"cluster_name":"<CLUSTER>","status":"green",...}

集群健康为 green 并不是解除只读的唯一条件;单节点或有未分配分片的环境可能出现其他状态,因此还要单独检查受影响索引。

解除索引写保护

确认空间问题已经处理后,再检查具体索引设置:

bash
curl -s "http://<HOST>:<PORT>/<INDEX>/_settings?filter_path=*.settings.index.blocks.read_only_allow_delete"

若确认是磁盘保护留下的只读设置,可以清除该设置:

bash
curl -s -X PUT "http://<HOST>:<PORT>/<INDEX>/_settings" \
  -H 'Content-Type: application/json' \
  -d '{"index.blocks.read_only_allow_delete":null}'

预期结果

text
{"acknowledged":true}

这里的重点是 null:它用于清除该设置,而不是把它设置成 false。如果索引同时存在其他 block,或者集群仍处于磁盘保护状态,单次解除操作不代表问题已经结束。

用真实写入确认恢复

最后不要只依赖 _settings 的返回结果。发送一条测试文档,验证从客户端到索引写入的实际路径已经恢复。

bash
curl -s -X POST "http://<HOST>:<PORT>/<INDEX>/_doc" \
  -H 'Content-Type: application/json' \
  -d '{"recovery_check":true,"checked_at":"<TIME>"}'

预期结果

text
{"_index":"<INDEX>","_id":"<ID>","result":"created",...}

测试文档产生后,应该按你们的生命周期策略处理它,不要让排障数据长期混入业务索引。若写入仍失败,继续查看返回错误中的具体 block 名称和索引名称,再判断是否还有其他保护条件。

哪些操作不要混在一起

磁盘告警、索引只读和分片未分配是三个不同层次的问题。清理空间解决的是资源边界;解除 read_only_allow_delete 解决的是索引写保护;分片异常则需要单独通过 allocation 原因定位。把三者混为一谈,容易出现“命令成功但业务仍写不了”的假恢复。

恢复完成后,至少保留一次磁盘使用率、受影响索引和成功写入的验证证据。这样下一次再次出现只读时,可以快速区分是空间再次触顶,还是出现了新的索引阻塞原因。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

索引变只读后怎么恢复

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通