NoSQL 与搜索 / 系统课时

搭建多节点实验集群

搭建多节点实验集群

本课使用 Docker Compose 创建三个 Elasticsearch 节点,并通过一个带两个副本的索引观察分片分布。随后主动停止当前主节点,验证剩余节点能否重新选主,以及故障节点恢复后集群如何重新回到绿色状态。

学习目标

  • 使用 Docker Compose 启动三个可互相发现的 Elasticsearch 节点
  • 验证节点加入、主节点选举和集群健康状态
  • 观察主分片与副本在节点故障前后的分配变化

规划实验拓扑

三个节点统一使用集群名 es-lab,节点名分别为 es01、es02、es03。每个节点同时具备主节点候选和数据角色,HTTP 端口映射为 9200、9201、9202,节点间通过 Compose 内部网络和传输端口通信。

Elasticsearch 三节点实验集群拓扑

本实验要求已安装 Docker Compose,并建议为 Docker 分配至少 4 GB 内存。为减少本地实验步骤,配置会关闭安全功能,因此只能用于受信任的本机环境,不能直接用于生产。

编写 Compose 配置

在空目录中创建 compose.yaml,写入以下完整配置。三个数据卷相互独立,避免节点共享数据目录。

yaml
services:
  es01:
    image: docker.elastic.co/elasticsearch/elasticsearch:9.4.4
    environment:
      - node.name=es01
      - node.roles=master,data
      - cluster.name=es-lab
      - discovery.seed_hosts=es01,es02,es03
      - cluster.initial_master_nodes=es01,es02,es03
      - xpack.security.enabled=false
      - bootstrap.memory_lock=true
      - ES_JAVA_OPTS=-Xms512m -Xmx512m
    ports:
      - 127.0.0.1:9200:9200
    volumes:
      - esdata01:/usr/share/elasticsearch/data
    ulimits:
      memlock:
        soft: -1
        hard: -1

  es02:
    image: docker.elastic.co/elasticsearch/elasticsearch:9.4.4
    environment:
      - node.name=es02
      - node.roles=master,data
      - cluster.name=es-lab
      - discovery.seed_hosts=es01,es02,es03
      - cluster.initial_master_nodes=es01,es02,es03
      - xpack.security.enabled=false
      - bootstrap.memory_lock=true
      - ES_JAVA_OPTS=-Xms512m -Xmx512m
    ports:
      - 127.0.0.1:9201:9200
    volumes:
      - esdata02:/usr/share/elasticsearch/data
    ulimits:
      memlock:
        soft: -1
        hard: -1

  es03:
    image: docker.elastic.co/elasticsearch/elasticsearch:9.4.4
    environment:
      - node.name=es03
      - node.roles=master,data
      - cluster.name=es-lab
      - discovery.seed_hosts=es01,es02,es03
      - cluster.initial_master_nodes=es01,es02,es03
      - xpack.security.enabled=false
      - bootstrap.memory_lock=true
      - ES_JAVA_OPTS=-Xms512m -Xmx512m
    ports:
      - 127.0.0.1:9202:9200
    volumes:
      - esdata03:/usr/share/elasticsearch/data
    ulimits:
      memlock:
        soft: -1
        hard: -1

volumes:
  esdata01:
  esdata02:
  esdata03:

该配置让三个节点通过服务名完成发现,并在首次启动时使用相同的候选列表引导新集群。集群首次成功形成后,正式环境应从所有节点删除 cluster.initial_master_nodes;它不是日常重启或新节点加入所需的配置。

启动并确认节点加入

在 compose.yaml 所在目录执行以下命令。等待循环可以避免容器刚启动时立即访问 HTTP 接口而得到连接失败。

bash
docker compose up -d

until curl -fsS http://localhost:9200/ >/dev/null; do
  sleep 2
done

docker compose ps
curl -s "http://localhost:9200/_cat/nodes?v&h=name,ip,node.role,master"
curl -s "http://localhost:9200/_cluster/health?pretty"

预期结果是三个服务均处于运行状态,节点表包含三行,并且只有一个节点的 master 列为 *。具体主节点由选举决定。

text
NAME                  SERVICE  STATUS
<PROJECT>-es01-1      es01     Up
<PROJECT>-es02-1      es02     Up
<PROJECT>-es03-1      es03     Up

name  ip           node.role  master
es01  <NODE_IP>    <ROLES>    <*|->
es02  <NODE_IP>    <ROLES>    <*|->
es03  <NODE_IP>    <ROLES>    <*|->

{
  "cluster_name": "es-lab",
  "status": "green",
  "number_of_nodes": 3,
  "unassigned_shards": 0
}

如果只看到一个节点,优先检查三个服务的 cluster.name 是否一致、discovery.seed_hosts 中的服务名能否解析,以及节点日志中是否出现 master not discovered。

创建索引并观察副本

创建一个主分片、两个副本的索引。三份分片副本不能位于同一节点,因此正常情况下会分别落在三台节点上。

bash
curl -s -X PUT "http://localhost:9200/lab-index" \
  -H "Content-Type: application/json" \
  -d '{
    "settings": {
      "number_of_shards": 1,
      "number_of_replicas": 2
    }
  }'

curl -s "http://localhost:9200/_cat/shards/lab-index?v&h=index,shard,prirep,state,node"

预期结果中应有一条主分片记录和两条副本记录,三条记录均为 STARTED,实际所在节点顺序可能不同。

text
{"acknowledged":true,"shards_acknowledged":true,"index":"lab-index"}

index      shard  prirep  state    node
lab-index  0      p       STARTED  <NODE_A>
lab-index  0      r       STARTED  <NODE_B>
lab-index  0      r       STARTED  <NODE_C>

验证主节点选举与恢复

下面的脚本先查询当前主节点并停止对应 Compose 服务,再从仍存活的端口中找到可访问节点。三台主节点候选只停止一台后,剩余两台仍构成多数派,可以重新选出主节点。

bash
MASTER=$(curl -s "http://localhost:9200/_cat/master?h=node")
echo "old_master=$MASTER"

docker compose stop "$MASTER"

LIVE_URL=""
NEW_MASTER=""
for attempt in $(seq 1 30); do
  for port in 9200 9201 9202; do
    CANDIDATE=$(curl -fsS "http://localhost:${port}/_cat/master?h=node" 2>/dev/null || true)
    if [ -n "$CANDIDATE" ]; then
      LIVE_URL="http://localhost:${port}"
      NEW_MASTER="$CANDIDATE"
      break 2
    fi
  done
  sleep 1
done

test -n "$LIVE_URL"
echo "new_master=$NEW_MASTER"
curl -s "$LIVE_URL/_cat/health?h=status,node.total,unassign"

docker compose start "$MASTER"
curl -s "$LIVE_URL/_cluster/health?wait_for_status=green&timeout=60s"

预期结果中,新旧主节点名称不同。节点停止期间,一个副本无法分配,集群通常变为 yellow;原节点恢复并完成分片同步后,集群重新变为 green。

text
old_master=<OLD_MASTER>
new_master=<NEW_MASTER>
yellow 2 1

{
  "cluster_name": "es-lab",
  "status": "green",
  "timed_out": false,
  "number_of_nodes": 3,
  "unassigned_shards": 0
}

如果同时停止两台主节点候选,剩余一台无法获得三节点投票配置中的多数票,集群将无法选出新的主节点。这是防止网络分区两侧同时接受写入的重要保护机制。

本课总结

  • 多节点必须使用一致的集群名、可解析的发现地址和正确的首次引导列表。
  • 三个主节点候选允许单节点故障后继续形成多数派并重新选主。
  • 主分片与副本分散到不同节点,节点恢复后未分配副本会重新同步并回到绿色状态。

下一课预告

下一课将进入索引与文档操作,使用实际数据验证创建索引、写入文档、查询结果以及删除资源的完整流程。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

搭建多节点实验集群

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通