NoSQL 与搜索 / 系统课时

使用 Index 与 Shard Stats 观察数据面

使用 Index 与 Shard Stats 观察数据面

节点资源只能告诉你“机器忙不忙”,却不能解释忙在什么数据活动上。本课从索引与分片两个层级读取 indexing、search、refresh、merge、segment 与 recovery 指标,把写入、查询、段维护和副本恢复串成一条可定位的数据面链路。

学习目标

  • 用 Index Stats 判断索引级读写、refresh、merge 与 segment 活动
  • 下钻到 shard 级识别热点分片和副本之间的负载偏斜
  • 结合 Recovery API 判断分片迁移或副本恢复是否正在消耗数据面资源

先看索引级活动

Index Stats 里的大量字段是累计计数器,因此基线应比较相邻采样点的增量,而不是只看总数。primaries.indexing 适合估算主分片承接的逻辑写入量;查询可能落到主分片或副本,所以搜索、refresh、merge 与 segment 的资源活动更应关注 total。

bash
export ES_URL="https://es01.example.com:9200"
export ES_API_KEY="<API_KEY>"

curl -sS --cacert <PATH>/http_ca.crt   -H "Authorization: ApiKey $ES_API_KEY"   "$ES_URL/_stats/indexing,search,refresh,merge,segments?level=indices&filter_path=indices.*.primaries.indexing.index_total,indices.*.total.search.query_total,indices.*.total.refresh.total,indices.*.total.merges.total,indices.*.total.merges.total_time_in_millis,indices.*.total.segments.count"

预期输出

json
{
  "indices": {
    "orders-v1": {
      "primaries": {
        "indexing": {"index_total": "<VALUE>"}
      },
      "total": {
        "search": {"query_total": "<VALUE>"},
        "refresh": {"total": "<VALUE>"},
        "merges": {
          "total": "<VALUE>",
          "total_time_in_millis": "<VALUE>"
        },
        "segments": {"count": "<VALUE>"}
      }
    }
  }
}

真实响应中的统计值是数字,这里用 <VALUE> 标出动态值。如果写入速率上升后 refresh 与 segment 数同步抬高,随后 merge 时间也增加,通常说明 Lucene 段维护正在跟随写入压力工作。单看 segments.count 的绝对值不能判错,关键是它的趋势是否长期累积,以及 merge 是否有能力把小段持续合并掉。

索引写入、Refresh、Segment、Merge 与 Recovery 的数据面关系

下钻到 shard 级找热点

索引级总量正常,并不代表每个分片都均衡。把 level 改为 shards 后,可以比较同一索引各 shard copy 的写入、查询、segment 与 merge 时间。若某个主分片的增量长期显著高于其他分片,应优先检查 routing key、时间型写入热点或分片大小差异。

bash
curl -sS --cacert <PATH>/http_ca.crt   -H "Authorization: ApiKey $ES_API_KEY"   "$ES_URL/_stats/indexing,search,merge,segments?level=shards&filter_path=indices.*.shards.*.*.routing.node,indices.*.shards.*.*.routing.primary,indices.*.shards.*.*.indexing.index_total,indices.*.shards.*.*.search.query_total,indices.*.shards.*.*.segments.count,indices.*.shards.*.*.merges.total_time_in_millis"

预期输出

json
{
  "indices": {
    "orders-v1": {
      "shards": {
        "0": [
          {
            "routing": {"node": "<ID>", "primary": true},
            "indexing": {"index_total": "<VALUE>"},
            "search": {"query_total": "<VALUE>"},
            "segments": {"count": "<VALUE>"},
            "merges": {"total_time_in_millis": "<VALUE>"}
          }
        ]
      }
    }
  }
}

这里仍应比较固定窗口内的增量。例如某个 shard 的 search.query_total 增速远高于其他 shard,而 CPU 热点又落在承载它的节点上,就能把“节点很忙”进一步收敛为“某个分片被高频查询”。

把 Recovery 放回同一条链路

分片 relocation、节点重启后的副本恢复或新副本创建,都会产生额外磁盘读写和网络流量。此时仅看 merge 或 indexing 容易把恢复流量误判成业务压力,可以用 Recovery API 单独确认是否存在活动恢复。

bash
curl -sS --cacert <PATH>/http_ca.crt   -H "Authorization: ApiKey $ES_API_KEY"   "$ES_URL/_recovery?active_only=true&detailed=true"

预期结果

text
无活动恢复时通常返回空对象:{}
存在恢复时,响应会按索引列出正在恢复的 shard,并包含 stage、source、target 以及文件或字节恢复进度等字段;实际索引名、节点名、阶段和百分比会随恢复过程变化。

把三类观察合并后,定位顺序会更稳定:先用索引级增量确认是写入、查询还是段维护在增长,再用 shard 级统计判断是否偏斜,最后用 Recovery API 排除迁移和恢复造成的额外 I/O。这样才能把节点资源异常准确映射到具体的数据面活动。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

使用 Index 与 Shard Stats 观察数据面

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通