服务注册与分布式协调 / 系统课时

搭建3节点可重配置集群

搭建3节点可重配置集群

本节在一台机器上用不同端口模拟 3 个 ZooKeeper 3.9.5 投票成员,分别准备独立数据目录、myid 和配置文件,启动复制模式后验证 Leader、Follower 与基本读写,为后续扩缩容演练提供可回滚的实验环境。

学习目标

  • 能为 3 个成员分配独立的客户端、quorum、election 与管理端口。
  • 能正确设置 dataDir、myid、server.x 和动态重配置开关。
  • 能启动 3 节点复制集群,并用角色状态和读写操作确认集群可用。

先检查运行环境

示例假设 ZooKeeper 3.9.5 二进制包已经解压,当前目录就是其根目录,并且系统中已经有可用的 Java。先确认服务脚本与版本命令能够执行。

bash
set -euo pipefail
test -x bin/zkServer.sh
java -version
bin/zkServer.sh version

预期结果:

text
Java 正常输出版本信息
Apache ZooKeeper, version 3.9.5

JDK 版本文字和前置日志可能因环境不同而变化,关键是命令没有报找不到 Java、权限不足等错误,并能确认 ZooKeeper 版本为 3.9.5。

为三个成员分配独立端口

同机模拟时,客户端端口、quorum 通信端口、Leader election 端口和 AdminServer 端口都不能冲突。这里采用以下布局:

成员 clientPort quorum election admin
server.1 2181 2881 3881 8081
server.2 2182 2882 3882 8082
server.3 2183 2883 3883 8083

3节点ZooKeeper本地演练拓扑

下面一次性创建目录、myid 和三个 zoo.cfg。reconfigEnabled=true 打开动态成员重配置能力,standaloneEnabled=false 让实验环境始终按复制模式运行。

bash
set -euo pipefail

ZK_HOME="$(pwd)"
BASE="$ZK_HOME/lab"

for i in 1 2 3; do
  mkdir -p "$BASE/node$i/data" "$BASE/node$i/conf"
  printf '%s\n' "$i" > "$BASE/node$i/data/myid"

  client_port=$((2180 + i))
  admin_port=$((8080 + i))

  cat > "$BASE/node$i/conf/zoo.cfg" <<EOF
tickTime=2000
initLimit=10
syncLimit=5
dataDir=$BASE/node$i/data
clientPort=$client_port
admin.serverPort=$admin_port
reconfigEnabled=true
standaloneEnabled=false
4lw.commands.whitelist=ruok,srvr
server.1=127.0.0.1:2881:3881
server.2=127.0.0.1:2882:3882
server.3=127.0.0.1:2883:3883
EOF
done

find "$BASE" -type f -print | sort

预期输出:

text
<PATH>/lab/node1/conf/zoo.cfg
<PATH>/lab/node1/data/myid
<PATH>/lab/node2/conf/zoo.cfg
<PATH>/lab/node2/data/myid
<PATH>/lab/node3/conf/zoo.cfg
<PATH>/lab/node3/data/myid

这里的 <PATH> 是 ZooKeeper 解压目录的实际绝对路径。每个 myid 必须与对应的 server.x 编号一致,而三个节点配置中的成员列表必须保持一致。

启动并确认一主两从

使用每个成员自己的配置目录启动实例。Leader 是运行时选举出来的,因此不要预设 server.1 一定成为 Leader。

bash
set -euo pipefail

BASE="$(pwd)/lab"

for i in 1 2 3; do
  bin/zkServer.sh --config "$BASE/node$i/conf" start
done

sleep 3

for i in 1 2 3; do
  echo "node$i"
  bin/zkServer.sh --config "$BASE/node$i/conf" status | grep 'Mode:'
done

预期结果:

text
node1
Mode: <leader-or-follower>
node2
Mode: <leader-or-follower>
node3
Mode: <leader-or-follower>

实际结果中应当恰好有 1 个 leader 和 2 个 follower,具体节点编号可能不同。如果某个实例无法返回 Mode,优先检查端口是否被占用、myid 是否正确、数据目录是否可写,以及三份配置里的 server.1 到 server.3 是否一致。

用真实读写验证集群

角色正常并不等于客户端链路一定可用。再连接一个客户端端口创建节点并读取其值,确认会话建立、写入与读取都能够完成。

bash
set -euo pipefail

printf 'create /reconfig-demo safe-change\nget /reconfig-demo\nquit\n' \
  | bin/zkCli.sh -server 127.0.0.1:2181 2>/dev/null \
  | grep -E 'Created /reconfig-demo|safe-change'

预期输出:

text
Created /reconfig-demo
safe-change

如果 /reconfig-demo 已经存在,应先删除该测试节点再重新执行创建操作。到这里,3 个独立成员已经组成复制模式集群,动态重配置能力也已开启;后续成员增删仍要先核对多数派边界,再执行实际重配置。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

搭建3节点可重配置集群

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通