NoSQL 与搜索 / 系统课时

分片路由与副本

分片路由与副本

本课解决“文档写到哪个分片、查询为什么会访问多个分片、分片数量如何影响性能”三个问题。完成后,你可以解释主分片定位、副本同步和查询分发过程,并用一个可验证示例观察自定义路由带来的请求范围变化。

学习目标

  • 解释文档路由到主分片的基本规则
  • 串联主分片写入、副本复制和查询分发过程
  • 根据数据量、节点数与查询模式评估分片数量

文档如何定位主分片

索引创建后,主分片数量通常保持不变。写入文档时,Elasticsearch 会对路由值计算哈希,再把结果映射到某个主分片。默认路由值是文档 _id;显式传入 routing 后,同一路由值的文档会稳定落到同一分片。

为了建立直觉,可以把默认过程理解为下面的简化模型,其中 PP 是主分片数量:

shard=positiveHash(routing) mod Pshard = positiveHash(routing) \bmod P

该公式用于理解“相同路由值会落到相同主分片”。实际实现还会考虑内部路由分片、索引拆分和路由分区等细节,因此不要依赖手工计算结果来猜测具体分片编号。

写入、副本与查询如何协作

协调节点收到写入请求后,先根据路由值找到目标主分片。主分片完成校验和本地写入,再把操作复制到处于活动状态的副本分片;达到请求所需的活动分片条件后,协调节点才向客户端返回结果。

查询请求采用 scatter-gather 模式。协调节点先确定需要访问哪些分片,把查询阶段分发出去,再汇总候选文档并完成取回阶段。没有路由条件时,查询通常需要访问索引的所有相关主分片或副本分片;指定路由后,可以缩小到包含该路由值的分片集合。

分片路由、副本同步与查询分发流程

用自定义路由观察请求范围

下面的完整示例可直接在 Kibana Dev Tools 中执行。它创建 4 个主分片且不配置副本,避免单节点实验环境因副本无法分配而出现干扰;生产环境是否设置副本应按可用性目标决定。

http
PUT /orders
{
  "settings": {
    "number_of_shards": 4,
    "number_of_replicas": 0
  },
  "mappings": {
    "properties": {
      "merchantId": { "type": "keyword" },
      "amount": { "type": "long" }
    }
  }
}

PUT /orders/_doc/order-1001?routing=merchant-42&refresh=wait_for
{
  "merchantId": "merchant-42",
  "amount": 19900
}

GET /orders/_search?routing=merchant-42
{
  "query": {
    "term": {
      "merchantId": "merchant-42"
    }
  }
}

GET /orders/_search
{
  "query": {
    "term": {
      "merchantId": "merchant-42"
    }
  }
}

预期结果

以下仅展示与本课有关的响应字段,<TIME_MS>、<SEQ_NO> 和 <PRIMARY_TERM> 等实际值可能不同。

text
创建索引:HTTP 200
{"acknowledged":true,"shards_acknowledged":true,"index":"orders"}

写入文档:HTTP 201
{"_index":"orders","_id":"order-1001","_version":1,"result":"created","_seq_no":<SEQ_NO>,"_primary_term":<PRIMARY_TERM>}

带 routing 查询:HTTP 200
{"took":<TIME_MS>,"timed_out":false,"_shards":{"total":1,"successful":1,"skipped":0,"failed":0},"hits":{"total":{"value":1,"relation":"eq"}}}

不带 routing 查询:HTTP 200
{"took":<TIME_MS>,"timed_out":false,"_shards":{"total":4,"successful":4,"skipped":0,"failed":0},"hits":{"total":{"value":1,"relation":"eq"}}}

由此可以看到,自定义路由不会改变匹配结果,却能减少查询需要访问的分片。代价是同一路由键的数据可能集中到少数分片,因此路由键必须具有足够离散度,不能长期把大多数数据压到一个热点键上。

分片数量如何影响系统

分片太少时,单分片会变大,迁移、恢复和单分片查询的并行度受限;分片太多时,每个分片都要消耗文件句柄、堆内存和集群状态空间,查询还会产生更多扇出与归并开销。

规划时应同时观察单分片大小、数据增长周期、数据节点数量、恢复时间和查询模式。不要只按当前数据量计算,也不要套用固定“每节点多少分片”的经验值。更可靠的方法是用接近生产的数据和查询进行压测,再通过 rollover、数据流或重建索引调整后续分片布局。

现象 可能的分片问题 调整方向
单分片恢复时间过长 分片过大 增加后续索引主分片数或缩短 rollover 周期
小索引占用大量资源 分片过多 合并索引、减少主分片或缩短保留范围
查询扇出高、协调压力大 分片数量过多或路由缺失 减少分片,或在业务允许时使用稳定路由键
某个分片持续高负载 路由键倾斜 更换离散度更高的路由策略

副本的边界与验证重点

副本可以提高读取并发,并在主分片所在节点故障时参与故障恢复,但它不会自动修复错误的数据模型,也不能替代跨集群备份。副本数量增加还会放大写入、网络和磁盘成本。

验证副本策略时,应确认副本分布在不同数据节点、集群健康状态符合预期,并通过节点故障演练观察主分片重新选定和业务恢复时间。单节点集群即使配置副本,副本也无法与主分片分配到同一节点,因此通常会保持未分配状态。

本课总结

  • 路由值决定文档所在主分片,默认使用 _id
  • 写入先到主分片再复制到副本,查询由协调节点分发并汇总
  • 分片数量和路由策略必须同时考虑容量、恢复时间、查询扇出与热点风险

下一课预告

下一课将继续学习分片分配与集群恢复,重点理解节点故障后分片如何重新分配,以及如何判断集群从黄色或红色状态恢复到绿色。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

分片路由与副本

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通