可观测性与稳定性 / 系统课时

节点离线后数据会发生什么

节点离线后数据会发生什么

Elasticsearch 节点离线后,并不是简单地把“这台机器的数据搬走”。集群首先识别节点丢失,再根据剩余分片副本决定主分片是否仍可用,随后重新分配缺失副本并恢复冗余。本节通过状态观察建立对故障接管和恢复时间的正确预期。

学习目标

  • 理解节点离线后主分片、副本和集群健康状态的变化
  • 观察副本提升为主分片以及缺失副本重新分配的过程
  • 判断节点恢复后何时才算真正恢复到预期冗余状态

数据是否可用取决于剩余副本

假设一个索引的某个主分片位于节点 A,对应副本位于节点 B。节点 A 离线后,只要集群仍拥有该分片的有效副本,Elasticsearch 就可以将可用副本提升为主分片,使该分片继续承担读写,再尝试在其他合适节点上建立新的副本。

如果离线节点持有的是副本,主分片仍然可用,集群通常表现为暂时缺少冗余。如果某个主分片离线且没有可用副本,则该分片的数据无法由当前集群提供,健康状态可能进入 red。

Elasticsearch 节点故障后的分片接管与恢复

故障时观察状态变化

测试前先记录当前健康状态和分片位置。生产环境不要为了练习主动停止节点;以下命令适合实验集群,或者用于真实故障发生后的只读观察。

bash
curl -s "http://localhost:9200/_cluster/health?pretty"
curl -s "http://localhost:9200/_cat/shards?v&h=index,shard,prirep,state,node,unassigned.reason"

预期输出取决于索引和节点布局。正常且副本完整时,相关主分片和副本应处于 STARTED,并位于不同的合格节点。

text
index     shard prirep state   node
app-logs  0     p      STARTED es01
app-logs  0     r      STARTED es02

节点故障发生后再次执行同样的查询。如果丢失的是主分片所在节点,而另一个有效副本能够接管,稍后可能看到原副本成为主分片,同时新的副本处于 UNASSIGNED 或 INITIALIZING。具体过渡状态和持续时间受故障检测、分配延迟、节点数量及分片大小影响。

接管完成不等于恢复完成

恢复过程至少要区分两个目标:数据重新可用与冗余重新建立。副本被提升为主分片后,业务可能已经能够继续访问该分片,但如果新的副本尚未建立,此时再次丢失承载主分片的节点,风险会明显增大。

可以持续查看恢复中的分片,并使用 recovery API 观察正在进行或最近完成的分片恢复。

bash
curl -s "http://localhost:9200/_cat/shards?v&h=index,shard,prirep,state,node"
curl -s "http://localhost:9200/_cat/recovery?v&active_only=true"

预期结果是在恢复期间看到目标副本进入 INITIALIZING,活动恢复查询可能显示对应恢复任务;恢复完成后分片进入 STARTED,而 active_only=true 可能不再返回该任务。

text
index     shard prirep state        node
app-logs  0     p      STARTED      es02
app-logs  0     r      INITIALIZING es03

原节点回来后不一定回到原布局

离线节点重新加入集群时,Elasticsearch 会根据当前集群状态和分配规则决定后续布局,而不是保证把每个分片恢复到故障前的位置。如果故障期间已经在其他节点建立了新副本,重新加入的节点只是再次成为可选的分配目标。

因此验证恢复不能只检查“节点已经在线”。应同时确认节点数量、主分片可用性、副本数量和是否仍有恢复任务。

bash
curl -s "http://localhost:9200/_cat/nodes?v&h=name,roles"
curl -s "http://localhost:9200/_cluster/health?pretty"
curl -s "http://localhost:9200/_cat/shards?v&h=index,shard,prirep,state,node"

预期结果是在容量和分配条件都满足时,目标主分片与副本最终均为 STARTED,集群健康状态恢复到其索引副本配置所允许的正常状态。节点名称和最终分片位置可能与故障前不同。

建立正确的恢复预期

恢复速度不是固定值。大分片需要传输更多数据,磁盘和网络吞吐、并发恢复限制以及其他正在迁移的分片都会影响耗时;如果剩余节点没有足够磁盘空间或不满足 allocation filtering,副本甚至可能一直无法重新建立。

因此节点故障后的检查顺序应是:先确认主分片是否仍可用,再确认副本是否正在重建,最后确认冗余已经恢复。只有节点重新出现而副本仍未 STARTED,不能视为恢复完成。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

节点离线后数据会发生什么

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通