服务注册与分布式协调 / 系统课时
搭建三节点安全实验集群
搭建三节点安全实验集群
本节在单机启动三个 ZooKeeper 3.9.5 进程,分别使用独立数据目录、客户端端口和 quorum 端口。你会验证读写、角色选举和 Leader 故障切换,得到后续认证、ACL 与 TLS 改造可重复使用的实验基线。
学习目标
- 搭建可独立启停的三节点 ZooKeeper 3.9.5 实验集群
- 验证一个 Leader、两个 Follower 的正常选举结果
- 模拟 Leader 故障并确认多数派仍能提供服务
准备本地实验目录
这个实验把三个进程放在同一台机器,只用于学习和配置验证,不代表生产高可用。生产环境应把节点分散到不同故障域,并独立管理证书、磁盘与网络策略。
下面把 ZooKeeper 3.9.5 解压到 <PATH>/zk-sec-lab。执行前确认已经安装 Java,并把 <PATH> 替换为可写目录。
export LAB_ROOT="<PATH>/zk-sec-lab"
mkdir -p "$LAB_ROOT"
cd "$LAB_ROOT"
curl -fsSLO "https://archive.apache.org/dist/zookeeper/zookeeper-3.9.5/apache-zookeeper-3.9.5-bin.tar.gz"
tar -xzf apache-zookeeper-3.9.5-bin.tar.gz
export ZK_HOME="$LAB_ROOT/apache-zookeeper-3.9.5-bin"
test -x "$ZK_HOME/bin/zkServer.sh" && echo "ZooKeeper 3.9.5 ready"预期输出
ZooKeeper 3.9.5 ready配置三个独立节点
三个配置文件共享同一份成员列表,但各自拥有不同的 dataDir、dataLogDir 和 clientPort。myid 必须与 server.N 的编号一一对应。这里关闭 AdminServer,避免单机上的默认管理端口冲突;同时把客户端监听限制在回环地址,防止实验服务暴露到外部网络。本节仍保留明文客户端和 quorum 链路,作为后续 TLS 改造前的对照基线。
mkdir -p "$LAB_ROOT"/node{1,2,3}/{data,logs}
printf '1
' > "$LAB_ROOT/node1/data/myid"
printf '2
' > "$LAB_ROOT/node2/data/myid"
printf '3
' > "$LAB_ROOT/node3/data/myid"
cat > "$LAB_ROOT/node1/zoo.cfg" <<EOF
tickTime=2000
initLimit=10
syncLimit=5
dataDir=$LAB_ROOT/node1/data
dataLogDir=$LAB_ROOT/node1/logs
clientPort=2181
clientPortAddress=127.0.0.1
admin.enableServer=false
4lw.commands.whitelist=srvr
server.1=127.0.0.1:2888:3888
server.2=127.0.0.1:2889:3889
server.3=127.0.0.1:2890:3890
EOF
sed 's#node1/data#node2/data#; s#node1/logs#node2/logs#; s#clientPort=2181#clientPort=2182#' "$LAB_ROOT/node1/zoo.cfg" > "$LAB_ROOT/node2/zoo.cfg"
sed 's#node1/data#node3/data#; s#node1/logs#node3/logs#; s#clientPort=2181#clientPort=2183#' "$LAB_ROOT/node1/zoo.cfg" > "$LAB_ROOT/node3/zoo.cfg"
for n in 1 2 3; do
printf 'node%s myid=%s clientPort=%s
' "$n" "$(cat "$LAB_ROOT/node$n/data/myid")" "$(grep '^clientPort=' "$LAB_ROOT/node$n/zoo.cfg" | cut -d= -f2)"
done预期输出
node1 myid=1 clientPort=2181
node2 myid=2 clientPort=2182
node3 myid=3 clientPort=2183
启动并验证选举与读写
依次启动三个实例后,用 status 检查角色。因为 Leader 由运行时选举决定,不要把某个固定节点写死为 Leader。
for n in 1 2 3; do
"$ZK_HOME/bin/zkServer.sh" start "$LAB_ROOT/node$n/zoo.cfg"
done
sleep 5
for n in 1 2 3; do
echo "node$n"
"$ZK_HOME/bin/zkServer.sh" status "$LAB_ROOT/node$n/zoo.cfg" 2>/dev/null | grep 'Mode:'
done预期结果:三个 status 都成功,其中恰好一个节点显示 Mode: leader,另外两个显示 Mode: follower。Leader 具体落在哪个节点每次都可能不同。
接着通过三个客户端端口组成的连接串创建并读取一个测试 znode。连接串让客户端能在单个节点不可用时自动尝试其他成员。
"$ZK_HOME/bin/zkCli.sh" -server 127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183 <<'EOF'
create /security-lab ready
get /security-lab
quit
EOF预期输出中的关键业务行应包含:
Created /security-lab
ready实际执行还会出现客户端连接日志,时间、会话 ID 与连接到的具体端口可能不同。
验证 Leader 故障切换
先动态找出当前 Leader,再只停止它。三节点集群失去一个成员后仍保留 2/3 多数派,因此剩余节点可以重新选举,并继续提供读服务。
LEADER_ID=""
for n in 1 2 3; do
if "$ZK_HOME/bin/zkServer.sh" status "$LAB_ROOT/node$n/zoo.cfg" 2>/dev/null | grep -q 'Mode: leader'; then
LEADER_ID="$n"
break
fi
done
echo "stopping leader node${LEADER_ID}"
"$ZK_HOME/bin/zkServer.sh" stop "$LAB_ROOT/node${LEADER_ID}/zoo.cfg"
sleep 5
for n in 1 2 3; do
if [ "$n" != "$LEADER_ID" ]; then
"$ZK_HOME/bin/zkServer.sh" status "$LAB_ROOT/node$n/zoo.cfg" 2>/dev/null | grep 'Mode:'
fi
done
"$ZK_HOME/bin/zkCli.sh" -server 127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183 <<'EOF'
get /security-lab
quit
EOF
"$ZK_HOME/bin/zkServer.sh" start "$LAB_ROOT/node${LEADER_ID}/zoo.cfg"
sleep 3
for n in 1 2 3; do
"$ZK_HOME/bin/zkServer.sh" status "$LAB_ROOT/node$n/zoo.cfg" 2>/dev/null | grep 'Mode:'
done预期结果:停止的节点编号是运行时确定的 <ID>;剩余两个节点重新形成一个 Leader 和一个 Follower;get /security-lab 仍返回 ready。原节点重新加入后,最终三次 status 再次呈现一个 Leader 和两个 Follower。启动、停止过程还会打印进程管理日志,具体 PID 可能不同。
这套集群现在已经具备后续安全实验需要的三个验证点:可以建立客户端会话、可以观察 Leader/Follower 角色、可以在保留多数派时完成故障切换。后续无论加入认证、ACL 还是 TLS,都应先复用这三项检查,确认安全控制没有破坏基本可用性。