NoSQL 与搜索 / 系统课时

搭建三节点安全集群

搭建三节点安全集群

本课用 Docker Compose 搭建一个固定为 Elasticsearch 9.3.8 的三节点实验集群,并显式启用 HTTP TLS、节点间 Transport TLS 与内置用户认证。完成后,你将能确认三个节点已发现彼此、成功选出唯一主节点,并通过 HTTPS 访问集群。

学习目标

  • 配置三个可发现、可选主的 Elasticsearch 9.3 节点
  • 为 HTTP 与 Transport 链路启用基于证书的 TLS
  • 用集群 API 验证节点数、主节点与安全访问是否正常

明确实验拓扑

三个节点 es01、es02、es03 都保留默认的主节点资格与数据节点能力。客户端只从宿主机访问 es01:9200;节点之间通过容器网络的 9300 Transport 端口发现并通信。实验使用同一 CA 为三个节点签发独立证书,每张证书都包含对应容器 DNS 名。

三节点 Elasticsearch 安全集群拓扑

Docker 容器的 Transport 发布地址可能使用动态容器 IP,因此本实验把 xpack.security.transport.ssl.verification_mode 设为 certificate:校验证书是否由受信 CA 签发,但不校验对端主机名。HTTP 客户端仍使用完整的 CA 与 SAN 校验;生产环境若有稳定 DNS/IP,应为节点签发匹配 SAN,并评估使用 full。

生成实验 CA 与节点证书

先准备 Docker Compose V2,并确保 Docker 至少能为三个节点提供约 4 GB 可用内存。下面的 instances.yml 为每个节点写入容器 DNS 名,同时给 es01 增加 localhost,这样宿主机用 https://localhost:9200 访问时可以通过主机名校验。

yaml
instances:
  - name: es01
    dns:
      - es01
      - localhost
    ip:
      - 127.0.0.1
  - name: es02
    dns:
      - es02
  - name: es03
    dns:
      - es03

保存后执行以下命令。它使用 Elasticsearch 9.3.8 镜像里的 elasticsearch-certutil 生成 PEM 格式 CA 和三套节点证书。

bash
set -e
rm -rf certs
mkdir -p certs
docker pull docker.elastic.co/elasticsearch/elasticsearch:9.3.8 >/dev/null 2>&1

docker run --rm -u 0 \
  -v "$PWD/certs:/certs" \
  -v "$PWD/instances.yml:/instances.yml:ro" \
  docker.elastic.co/elasticsearch/elasticsearch:9.3.8 \
  bash -c '
    set -e
    bin/elasticsearch-certutil ca --silent --pem -out /certs/ca.zip
    unzip -q /certs/ca.zip -d /certs
    bin/elasticsearch-certutil cert --silent --pem \
      --in /instances.yml \
      --ca-cert /certs/ca/ca.crt \
      --ca-key /certs/ca/ca.key \
      -out /certs/nodes.zip
    unzip -q /certs/nodes.zip -d /certs
    chmod -R a+rX /certs
    echo certificates-ready
  '

预期输出:

text
certificates-ready

生成后应至少存在 certs/ca/ca.crt、certs/es01/es01.crt、certs/es02/es02.crt 与 certs/es03/es03.crt。私钥位于同名目录中,不应提交到代码仓库。

启动三个节点

创建 .env,实验密码只使用字母与数字,避免 shell 与 Compose 转义干扰。

text
ELASTIC_PASSWORD=LabElastic938

再创建 compose.yml。三个节点使用相同 cluster.name,通过 discovery.seed_hosts 找到其他节点;首次形成全新集群时,cluster.initial_master_nodes 必须在三台节点上保持完全一致。

yaml
services:
  es01:
    image: docker.elastic.co/elasticsearch/elasticsearch:9.3.8
    container_name: es01
    environment:
      - node.name=es01
      - cluster.name=anystack-es93
      - cluster.initial_master_nodes=es01,es02,es03
      - discovery.seed_hosts=es02,es03
      - ELASTIC_PASSWORD=${ELASTIC_PASSWORD}
      - xpack.security.enabled=true
      - xpack.security.http.ssl.enabled=true
      - xpack.security.http.ssl.key=certs/es01/es01.key
      - xpack.security.http.ssl.certificate=certs/es01/es01.crt
      - xpack.security.http.ssl.certificate_authorities=certs/ca/ca.crt
      - xpack.security.transport.ssl.enabled=true
      - xpack.security.transport.ssl.key=certs/es01/es01.key
      - xpack.security.transport.ssl.certificate=certs/es01/es01.crt
      - xpack.security.transport.ssl.certificate_authorities=certs/ca/ca.crt
      - xpack.security.transport.ssl.verification_mode=certificate
    volumes:
      - ./certs:/usr/share/elasticsearch/config/certs:ro
      - esdata01:/usr/share/elasticsearch/data
    ports:
      - "127.0.0.1:9200:9200"
    mem_limit: 1g

  es02:
    image: docker.elastic.co/elasticsearch/elasticsearch:9.3.8
    container_name: es02
    environment:
      - node.name=es02
      - cluster.name=anystack-es93
      - cluster.initial_master_nodes=es01,es02,es03
      - discovery.seed_hosts=es01,es03
      - ELASTIC_PASSWORD=${ELASTIC_PASSWORD}
      - xpack.security.enabled=true
      - xpack.security.http.ssl.enabled=true
      - xpack.security.http.ssl.key=certs/es02/es02.key
      - xpack.security.http.ssl.certificate=certs/es02/es02.crt
      - xpack.security.http.ssl.certificate_authorities=certs/ca/ca.crt
      - xpack.security.transport.ssl.enabled=true
      - xpack.security.transport.ssl.key=certs/es02/es02.key
      - xpack.security.transport.ssl.certificate=certs/es02/es02.crt
      - xpack.security.transport.ssl.certificate_authorities=certs/ca/ca.crt
      - xpack.security.transport.ssl.verification_mode=certificate
    volumes:
      - ./certs:/usr/share/elasticsearch/config/certs:ro
      - esdata02:/usr/share/elasticsearch/data
    mem_limit: 1g

  es03:
    image: docker.elastic.co/elasticsearch/elasticsearch:9.3.8
    container_name: es03
    environment:
      - node.name=es03
      - cluster.name=anystack-es93
      - cluster.initial_master_nodes=es01,es02,es03
      - discovery.seed_hosts=es01,es02
      - ELASTIC_PASSWORD=${ELASTIC_PASSWORD}
      - xpack.security.enabled=true
      - xpack.security.http.ssl.enabled=true
      - xpack.security.http.ssl.key=certs/es03/es03.key
      - xpack.security.http.ssl.certificate=certs/es03/es03.crt
      - xpack.security.http.ssl.certificate_authorities=certs/ca/ca.crt
      - xpack.security.transport.ssl.enabled=true
      - xpack.security.transport.ssl.key=certs/es03/es03.key
      - xpack.security.transport.ssl.certificate=certs/es03/es03.crt
      - xpack.security.transport.ssl.certificate_authorities=certs/ca/ca.crt
      - xpack.security.transport.ssl.verification_mode=certificate
    volumes:
      - ./certs:/usr/share/elasticsearch/config/certs:ro
      - esdata03:/usr/share/elasticsearch/data
    mem_limit: 1g

volumes:
  esdata01:
  esdata02:
  esdata03:

启动并等待集群看到三个节点,再查询节点列表。

bash
docker compose up -d >/dev/null 2>&1 || {
  docker compose logs --tail=100
  exit 1
}
echo cluster-start-requested

set -a
source .env
set +a

curl -sS --cacert certs/ca/ca.crt \
  -u "elastic:$ELASTIC_PASSWORD" \
  "https://localhost:9200/_cluster/health?wait_for_nodes=3&timeout=60s&filter_path=number_of_nodes"

echo
curl -sS --cacert certs/ca/ca.crt \
  -u "elastic:$ELASTIC_PASSWORD" \
  "https://localhost:9200/_cat/nodes?h=name,master"

预期输出:

text
cluster-start-requested
{"number_of_nodes":3}
es01 -
es02 *
es03 -

节点顺序和主节点可能不同,但必须看到三个节点,且 master 列只能有一个 *。这同时证明发现链路已经工作,并且客户端能通过受信任 CA 与认证凭据访问 HTTPS API。

处理首次引导边界

cluster.initial_master_nodes 只负责全新集群第一次选主。集群已经成功形成并持久化 cluster UUID 后,应从三个服务的配置中删除这一项;后续重启、扩容或节点重新加入时不要再次设置它,否则可能在错误的数据目录或错误操作下引导出另一个独立集群。

如果三个节点迟迟不能形成集群,先检查 docker compose logs es01 es02 es03。master not discovered 通常指向发现地址、节点名或网络问题;TLS handshake 或 certificate_unknown 一类错误应先检查 Transport CA、证书和节点间网络;HTTP 主机名错误再检查 SAN 与访问地址,而不是反复修改选主参数。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

搭建三节点安全集群

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通