NoSQL 与搜索 / 系统课时

处理磁盘 Watermark 与只读保护

处理磁盘 Watermark 与只读保护

磁盘告警如果只靠删除几条文档或手工解除只读,很容易反复触发。Elasticsearch 会用 low、high、flood stage 三道水位逐级限制分片分配、触发迁移并保护索引写入。本课给出从确认受压节点、释放空间到验证自动解锁的完整顺序。

学习目标

  • 解释 low、high 与 flood stage 对分片分配、迁移和索引写入的不同影响
  • 按正确顺序释放或扩展磁盘空间,避免在所有节点都过水位时等待无效迁移
  • 验证 read_only_allow_delete 是否自动解除,并知道什么时候才需要人工清理块

Watermark 是三道不同的保护线

默认按磁盘已使用比例计算时,low 为 85%、high 为 90%、flood stage 为 95%。节点超过 low 后,Elasticsearch 会避免再把普通分片分配到该节点;超过 high 后,会尝试把分片迁走;超过 flood stage 后,位于该节点上的分片所属索引会被加上 index.blocks.read_only_allow_delete,阻止普通写入以避免磁盘彻底耗尽。

当磁盘重新降到 high watermark 以下时,Elasticsearch 会自动移除 flood stage 写保护。这个细节很重要:解除只读不是首要修复动作,降低磁盘压力才是。如果磁盘仍高于 flood stage,手工清掉 block 也可能再次被系统加回。

Elasticsearch 磁盘 Watermark 与写保护状态迁移

如果改用绝对字节配置,含义会反过来表示剩余可用空间。例如 low 可以是 100gb、high 可以是 50gb。low、high、flood stage 必须统一使用比例类值或统一使用字节类值,不能混搭后再凭直觉比较大小。

先确认受压节点和受保护索引

先看每个数据节点的磁盘使用率,再检查哪些索引被加了只读保护。不要只看单个报错索引,因为一个节点达到 flood stage 后,只要某个索引有分片落在该节点上,整个索引的写入都可能受到影响。

bash
export ES_URL="https://<HOST>:<PORT>"
export ELASTIC_API_KEY="<API_KEY>"

curl -sS "$ES_URL/_cat/allocation?h=node,disk.percent,disk.avail,disk.total,shards&s=disk.percent:desc" \
  -H "Authorization: ApiKey $ELASTIC_API_KEY"

curl -sS "$ES_URL/_all/_settings/index.blocks.read_only_allow_delete?flat_settings=true&expand_wildcards=all" \
  -H "Authorization: ApiKey $ELASTIC_API_KEY"

预期输出

text
<NODE> <VALUE> <VALUE> <VALUE> <VALUE>
<NODE> <VALUE> <VALUE> <VALUE> <VALUE>

{
  "<INDEX>": {
    "settings": {
      "index.blocks.read_only_allow_delete": "true"
    }
  }
}

disk.percent、可用空间、分片数和索引名都是动态值。若使用默认比例水位,重点判断是否有节点达到或超过 85%、90%、95%;如果集群已自定义水位,则应先读取 _cluster/settings?include_defaults=true,按实际生效值判断。

按先止血再恢复的顺序处理

第一优先级是防止磁盘继续增长。可以暂停非关键批量写入、降低摄入速率,或提前 rollover 到有容量的数据层。随后选择真正能增加可用空间的动作:扩容磁盘、增加符合 tier 与 awareness 约束的数据节点,或删除已经确认可丢弃且不再需要的整个索引。

read_only_allow_delete 的名字容易误导。它不是允许你继续删除大量文档;在磁盘极满时,按文档删除仍可能产生新的 segment 和临时空间压力。删除整个索引几乎不需要额外磁盘空间,并能快速释放该索引占用的空间,因此该保护仍允许删除索引。

还要确认目标节点有地方接收分片。如果所有数据节点都已经超过 low watermark,磁盘分配器既不愿再给它们新分片,也很难通过 relocation 把高水位节点救出来。此时增加容量或直接释放空间通常比等待自动搬迁更有效。

验证高水位以下自动解锁

释放空间后,不要立刻手工改索引设置。等磁盘统计刷新并确认受压节点已经低于 high watermark,再读取索引设置。正常情况下,Elasticsearch 会自动移除 index.blocks.read_only_allow_delete。

bash
export INDEX="<INDEX>"

curl -sS "$ES_URL/$INDEX/_settings/index.blocks.read_only_allow_delete?flat_settings=true" \
  -H "Authorization: ApiKey $ELASTIC_API_KEY"

预期输出

json
{
  "<INDEX>": {
    "settings": {}
  }
}

若仍返回 "index.blocks.read_only_allow_delete": "true",先再次核对节点磁盘是否确实低于当前生效的 high watermark,并给磁盘信息刷新留出一个周期。只有确认空间问题已经解决、自动保护却仍未清理时,才考虑人工把该设置置为 null。

bash
curl -sS -X PUT "$ES_URL/$INDEX/_settings" \
  -H "Authorization: ApiKey $ELASTIC_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "index.blocks.read_only_allow_delete": null
  }'

预期输出

json
{
  "acknowledged": true
}

最终验收不只是“写请求恢复”。还应确认磁盘持续低于 high watermark、没有节点继续逼近 flood stage、受影响分片可以正常分配或迁移,并且写入速率恢复后空间仍有安全余量。只有容量趋势也恢复健康,才算真正解除这次磁盘保护事件。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

处理磁盘 Watermark 与只读保护

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通