可观测性与稳定性 / 系统课时

集群节点之间怎样保存数据

集群节点之间怎样保存数据

在集中日志系统里,索引看起来像一个整体,但数据并不是完整地放在某一台服务器上。理解集群、节点、索引和分片之间的关系,才能判断某个节点故障时哪些数据受影响,以及为什么扩容后数据会在节点之间重新分布。

学习目标

  • 说清集群、节点、索引和分片各自承担的职责
  • 理解主分片与副本分片为什么会分布到不同节点
  • 能根据分片分配关系判断节点故障对日志数据的影响

真正落盘的是分片

以 Elasticsearch 为例,集群是一组共同工作的节点,节点是实际运行搜索引擎进程的服务器或实例,索引则是应用看到的逻辑数据集合。索引本身不是一个必须完整存放在单台节点上的目录,它会被拆成若干分片。

每个分片都是可以独立存储和查询的数据单元。节点磁盘上真正保存的是这些分片对应的数据文件,因此判断数据位于哪里时,应该问“这个分片分配到了哪个节点”,而不是“这个索引属于哪个节点”。

集群、节点、索引与分片的层级和分布关系

主分片决定数据属于哪一份

创建索引时会确定主分片数量。写入一条日志文档后,搜索引擎根据路由值计算它应该进入哪个主分片;默认情况下,文档的 _id 会参与这一过程。因此,同一个索引中的文档会被分散到不同主分片,而不是每台节点都保存一份完整索引。

假设一个索引有两个主分片,可以把它理解为两份互不重复的数据集合:P0 保存一部分文档,P1 保存另一部分文档。一次针对整个索引的搜索通常需要访问相关分片,再由协调节点汇总结果。

主分片数量还影响后续横向分布能力。如果只有一个主分片,即使增加很多节点,这一个主分片本身也不能被进一步同时拆到多台节点上承担存储。

副本分片提供冗余和读取能力

副本分片保存某个主分片的数据副本。例如 R0 是 P0 的副本,R1 是 P1 的副本。在正常分配条件下,一个副本不会与对应主分片放在同一个节点,否则该节点故障时两份数据会同时不可用。

假设三个节点上的分配如下:

节点 承载的分片
Node A P0、R1
Node B P1、R0
Node C 其他索引的分片或等待重新分配

如果 Node A 故障,P0 暂时丢失,但 Node B 上的 R0 仍保存同一份数据。集群可以把可用副本提升为主分片,并在条件允许时重新创建新的副本。这正是副本能够提高可用性的原因。

节点变化会触发分片重新分配

节点加入或离开集群后,集群会重新评估各分片应该放在哪里。例如新增节点时,部分分片可能迁移到新节点以降低原有节点的磁盘和查询压力;节点故障时,则可能提升副本并补建缺失副本。

因此,运维中看到“节点磁盘突然下降”“网络流量升高”或“部分分片正在迁移”时,不应只观察节点数量,还要结合分片分配状态判断。索引是否健康,本质上取决于它需要的主分片和副本分片是否都得到了合适的分配。

把这几个对象连起来看就很清楚:集群管理节点,节点承载分片,索引由多个主分片组成,副本分片复制主分片的数据。后续排查集群状态时,真正需要追踪的核心对象就是“某个分片当前位于哪个节点,以及它是否还有可用副本”。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

集群节点之间怎样保存数据

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通