P2P 与分布式存储 / 系统课时

用容器组建五节点隔离测试网络

用容器组建五节点隔离测试网络

使用 Docker Compose 启动五个独立进程,划分一个宿主机可访问的测试网段和一个内部网段。完成后可检查节点注册与发现、同网段直连消息以及跨网段阻断,并保留一套用于后续故障注入的可复现环境。

学习目标

  • 用一份 Compose 配置启动引导节点、两台公开侧节点和两台私网节点。
  • 区分引导发现与节点间直接通信,验证两种网络中的消息往返。
  • 用成功和失败的命令结果确认隔离边界,而非只看容器是否运行。

确定五节点拓扑与隔离边界

本例需要 Docker Engine 与 Docker Compose v2(使用 docker compose 命令),以及宿主机上的 curl。约定五个节点均监听容器内 TCP 8000 端口,其中 bootstrap 同时接入 edge 和 lan,只提供注册与查询,不转发业务消息。

角色 服务名 所在网络 宿主机发布端口
引导节点 bootstrap edge、lan 127.0.0.1:18080
公开侧节点 public-a、public-b edge 127.0.0.1:18081、127.0.0.1:18082
私网节点 private-a、private-b lan 无

edge 是普通 bridge 网络;lan 设置 internal: true。两侧均可访问双归属的引导节点,但公开侧不能直接解析或访问私网服务名。这里的“公开侧”仅表示测试宿主机可通过发布端口访问,并不等于具有真实公网 IP。

五节点容器网络的双网段隔离拓扑

编写能发现和收发消息的最小节点

创建空目录,将下列内容保存为 node.py。它只依赖 Python 标准库:引导节点保存成员表,其他节点定期注册;发送时先查成员表,再直接向目标节点发送 HTTP 消息。这样的最小实现可以测网络拓扑,但不是 libp2p、DHT、Noise 或 NAT 穿透实现。

python
import json
import os
import sys
import threading
import time
from http.server import BaseHTTPRequestHandler, ThreadingHTTPServer
from urllib.request import Request, urlopen

NODE = os.environ["NODE_ID"]
BOOT = "http://bootstrap:8000"
members = {"bootstrap": BOOT}

def call(url, payload=None):
    body = None if payload is None else json.dumps(payload).encode()
    req = Request(url, data=body, headers={"Content-Type": "application/json"})
    with urlopen(req, timeout=3) as response:
        return json.load(response)

class Handler(BaseHTTPRequestHandler):
    def reply(self, status, data):
        payload = json.dumps(data).encode()
        self.send_response(status)
        self.send_header("Content-Type", "application/json")
        self.send_header("Content-Length", str(len(payload)))
        self.end_headers()
        self.wfile.write(payload)

    def do_GET(self):
        if self.path == "/health":
            self.reply(200, {"node": NODE, "status": "ok"})
        elif self.path == "/peers" and NODE == "bootstrap":
            self.reply(200, {"peers": members.copy()})
        else:
            self.reply(404, {"error": "not_found"})

    def do_POST(self):
        size = int(self.headers.get("Content-Length", "0"))
        data = json.loads(self.rfile.read(size))
        if self.path == "/register" and NODE == "bootstrap":
            members[data["id"]] = data["url"]
            self.reply(200, {"registered": data["id"]})
        elif self.path == "/message":
            print(f'RECV from={data["from"]} text={data["text"]}', flush=True)
            self.reply(200, {"ack": NODE})
        else:
            self.reply(404, {"error": "not_found"})

    def log_message(self, *_):
        pass

def register_loop():
    while True:
        try:
            call(BOOT + "/register", {"id": NODE, "url": f"http://{NODE}:8000"})
        except OSError:
            pass  # 引导节点未就绪时下轮重试
        time.sleep(2)

if len(sys.argv) > 1:
    mode = sys.argv[1]
    peers = call(BOOT + "/peers")["peers"]
    if mode == "peers":
        print("\n".join(sorted(peers)))
    elif mode in ("probe", "send"):
        target = sys.argv[2]
        url = peers[target]
        try:
            if mode == "probe":
                call(url + "/health")
                print(f"REACHABLE {target}")
            else:
                text = sys.argv[3]
                ack = call(url + "/message", {"from": NODE, "text": text})
                print("ACK", ack["ack"])
        except OSError:
            print(f"UNREACHABLE {target}")
            sys.exit(1)
    else:
        sys.exit("unknown command")
else:
    # 每个容器常驻同一服务端;非引导节点后台注册。
    if NODE != "bootstrap":
        threading.Thread(target=register_loop, daemon=True).start()
    ThreadingHTTPServer(("0.0.0.0", 8000), Handler).serve_forever()

代码中的 RECV 是接收端自己记录的消息,ACK 来自接收端的真实 HTTP 响应;引导节点不会代发数据。成员表尚未实现鉴权、心跳过期或持久化,因此仅用于本地实验。

配置并启动五个容器

在相同目录创建 compose.yaml。所有服务共用 node.py,但分别运行在独立容器中;只有引导节点加入两个网络。固定使用 Python 3.12 Alpine 系列镜像,首次启动需要拉取镜像。

yaml
x-node: &node
  image: python:3.12-alpine
  command: ["python", "-u", "/app/node.py"]
  volumes:
    - ./node.py:/app/node.py:ro

services:
  bootstrap:
    <<: *node
    environment:
      NODE_ID: bootstrap
    networks: [edge, lan]
    ports: ["127.0.0.1:18080:8000"]

  public-a:
    <<: *node
    environment:
      NODE_ID: public-a
    networks: [edge]
    ports: ["127.0.0.1:18081:8000"]

  public-b:
    <<: *node
    environment:
      NODE_ID: public-b
    networks: [edge]
    ports: ["127.0.0.1:18082:8000"]

  private-a:
    <<: *node
    environment:
      NODE_ID: private-a
    networks: [lan]

  private-b:
    <<: *node
    environment:
      NODE_ID: private-b
    networks: [lan]

networks:
  edge:
    driver: bridge
  lan:
    driver: bridge
    internal: true

启动前先检查文件解析,再创建容器并检查服务数量:

bash
docker compose config --quiet
docker compose up -d
docker compose ps --services --status running

预期输出(服务顺序可能不同):

text
bootstrap
private-a
private-b
public-a
public-b

若不足五个,先用 docker compose ps -a 和 docker compose logs <服务名> 检查退出原因。若发布端口冲突,调整 18080~18082 的宿主机侧端口,保持容器侧 8000 不变。

验证发现、直连与跨网阻断

所有节点启动后,等待非引导节点完成首次注册。通过公开侧节点查询引导表;如果少于五行,间隔约 2 秒重试,直到看到全部名称。

bash
docker compose exec public-a python /app/node.py peers

预期输出:

text
bootstrap
private-a
private-b
public-a
public-b

这表示服务名已被写入成员表,不代表五个节点彼此都能建立直连。继续从不同网络的发送端主动联系同网段目标,检查接收端产生的确认。

bash
docker compose exec public-a python /app/node.py send public-b hello-edge
docker compose exec private-a python /app/node.py send private-b hello-lan
docker compose exec public-a python /app/node.py send bootstrap hello-boot

预期输出:

text
ACK public-b
ACK private-b
ACK bootstrap

在接收端验证消息确实送达,而非发送端自行打印成功:

bash
docker compose logs --no-log-prefix public-b private-b bootstrap

预期结果:对应服务日志分别包含 RECV from=public-a text=hello-edge、RECV from=private-a text=hello-lan 和 RECV from=public-a text=hello-boot;实际日志时间可能不同。

最后验证跨网连接被阻断。下面的命令预计以非零状态退出,不应出现 REACHABLE:

bash
docker compose exec public-a python /app/node.py probe private-a

预期输出:

text
UNREACHABLE private-a

可再从宿主机查询 curl -fsS http://127.0.0.1:18081/health,预期得到 {"node": "public-a", "status": "ok"};私网节点没有对应宿主机发布端口。若跨网探测竟成功,优先检查是否误把两个节点放进同一网络,或额外启用了跨网络路由。

留下可重复验收的基线

本实验的通过条件是:五个容器运行、成员表包含五个名字、三次同侧或引导消息得到 ACK、接收端日志包含三条 RECV,且 public-a 到 private-a 的直接探测失败。故障注入前保存这些结果,才能区分配置错误与注入造成的变化。

实验结束执行:

bash
docker compose down

预期结果:本项目创建的五个容器和 Compose 网络被移除,目录中的 node.py、compose.yaml 不受影响。后续若替换成真实 libp2p 节点,可保留同一双网段拓扑,但应把节点发现、Peer ID、加密连接和中继能力分别作为独立验收项;当前 HTTP 教学实现不提供这些保证。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用容器组建五节点隔离测试网络

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通