P2P 与分布式存储 / 系统课时
用容器组建五节点隔离测试网络
用容器组建五节点隔离测试网络
使用 Docker Compose 启动五个独立进程,划分一个宿主机可访问的测试网段和一个内部网段。完成后可检查节点注册与发现、同网段直连消息以及跨网段阻断,并保留一套用于后续故障注入的可复现环境。
学习目标
- 用一份 Compose 配置启动引导节点、两台公开侧节点和两台私网节点。
- 区分引导发现与节点间直接通信,验证两种网络中的消息往返。
- 用成功和失败的命令结果确认隔离边界,而非只看容器是否运行。
确定五节点拓扑与隔离边界
本例需要 Docker Engine 与 Docker Compose v2(使用 docker compose 命令),以及宿主机上的 curl。约定五个节点均监听容器内 TCP 8000 端口,其中 bootstrap 同时接入 edge 和 lan,只提供注册与查询,不转发业务消息。
| 角色 | 服务名 | 所在网络 | 宿主机发布端口 |
|---|---|---|---|
| 引导节点 | bootstrap |
edge、lan |
127.0.0.1:18080 |
| 公开侧节点 | public-a、public-b |
edge |
127.0.0.1:18081、127.0.0.1:18082 |
| 私网节点 | private-a、private-b |
lan |
无 |
edge 是普通 bridge 网络;lan 设置 internal: true。两侧均可访问双归属的引导节点,但公开侧不能直接解析或访问私网服务名。这里的“公开侧”仅表示测试宿主机可通过发布端口访问,并不等于具有真实公网 IP。

编写能发现和收发消息的最小节点
创建空目录,将下列内容保存为 node.py。它只依赖 Python 标准库:引导节点保存成员表,其他节点定期注册;发送时先查成员表,再直接向目标节点发送 HTTP 消息。这样的最小实现可以测网络拓扑,但不是 libp2p、DHT、Noise 或 NAT 穿透实现。
import json
import os
import sys
import threading
import time
from http.server import BaseHTTPRequestHandler, ThreadingHTTPServer
from urllib.request import Request, urlopen
NODE = os.environ["NODE_ID"]
BOOT = "http://bootstrap:8000"
members = {"bootstrap": BOOT}
def call(url, payload=None):
body = None if payload is None else json.dumps(payload).encode()
req = Request(url, data=body, headers={"Content-Type": "application/json"})
with urlopen(req, timeout=3) as response:
return json.load(response)
class Handler(BaseHTTPRequestHandler):
def reply(self, status, data):
payload = json.dumps(data).encode()
self.send_response(status)
self.send_header("Content-Type", "application/json")
self.send_header("Content-Length", str(len(payload)))
self.end_headers()
self.wfile.write(payload)
def do_GET(self):
if self.path == "/health":
self.reply(200, {"node": NODE, "status": "ok"})
elif self.path == "/peers" and NODE == "bootstrap":
self.reply(200, {"peers": members.copy()})
else:
self.reply(404, {"error": "not_found"})
def do_POST(self):
size = int(self.headers.get("Content-Length", "0"))
data = json.loads(self.rfile.read(size))
if self.path == "/register" and NODE == "bootstrap":
members[data["id"]] = data["url"]
self.reply(200, {"registered": data["id"]})
elif self.path == "/message":
print(f'RECV from={data["from"]} text={data["text"]}', flush=True)
self.reply(200, {"ack": NODE})
else:
self.reply(404, {"error": "not_found"})
def log_message(self, *_):
pass
def register_loop():
while True:
try:
call(BOOT + "/register", {"id": NODE, "url": f"http://{NODE}:8000"})
except OSError:
pass # 引导节点未就绪时下轮重试
time.sleep(2)
if len(sys.argv) > 1:
mode = sys.argv[1]
peers = call(BOOT + "/peers")["peers"]
if mode == "peers":
print("\n".join(sorted(peers)))
elif mode in ("probe", "send"):
target = sys.argv[2]
url = peers[target]
try:
if mode == "probe":
call(url + "/health")
print(f"REACHABLE {target}")
else:
text = sys.argv[3]
ack = call(url + "/message", {"from": NODE, "text": text})
print("ACK", ack["ack"])
except OSError:
print(f"UNREACHABLE {target}")
sys.exit(1)
else:
sys.exit("unknown command")
else:
# 每个容器常驻同一服务端;非引导节点后台注册。
if NODE != "bootstrap":
threading.Thread(target=register_loop, daemon=True).start()
ThreadingHTTPServer(("0.0.0.0", 8000), Handler).serve_forever()代码中的 RECV 是接收端自己记录的消息,ACK 来自接收端的真实 HTTP 响应;引导节点不会代发数据。成员表尚未实现鉴权、心跳过期或持久化,因此仅用于本地实验。
配置并启动五个容器
在相同目录创建 compose.yaml。所有服务共用 node.py,但分别运行在独立容器中;只有引导节点加入两个网络。固定使用 Python 3.12 Alpine 系列镜像,首次启动需要拉取镜像。
x-node: &node
image: python:3.12-alpine
command: ["python", "-u", "/app/node.py"]
volumes:
- ./node.py:/app/node.py:ro
services:
bootstrap:
<<: *node
environment:
NODE_ID: bootstrap
networks: [edge, lan]
ports: ["127.0.0.1:18080:8000"]
public-a:
<<: *node
environment:
NODE_ID: public-a
networks: [edge]
ports: ["127.0.0.1:18081:8000"]
public-b:
<<: *node
environment:
NODE_ID: public-b
networks: [edge]
ports: ["127.0.0.1:18082:8000"]
private-a:
<<: *node
environment:
NODE_ID: private-a
networks: [lan]
private-b:
<<: *node
environment:
NODE_ID: private-b
networks: [lan]
networks:
edge:
driver: bridge
lan:
driver: bridge
internal: true启动前先检查文件解析,再创建容器并检查服务数量:
docker compose config --quiet
docker compose up -d
docker compose ps --services --status running预期输出(服务顺序可能不同):
bootstrap
private-a
private-b
public-a
public-b若不足五个,先用 docker compose ps -a 和 docker compose logs <服务名> 检查退出原因。若发布端口冲突,调整 18080~18082 的宿主机侧端口,保持容器侧 8000 不变。
验证发现、直连与跨网阻断
所有节点启动后,等待非引导节点完成首次注册。通过公开侧节点查询引导表;如果少于五行,间隔约 2 秒重试,直到看到全部名称。
docker compose exec public-a python /app/node.py peers预期输出:
bootstrap
private-a
private-b
public-a
public-b这表示服务名已被写入成员表,不代表五个节点彼此都能建立直连。继续从不同网络的发送端主动联系同网段目标,检查接收端产生的确认。
docker compose exec public-a python /app/node.py send public-b hello-edge
docker compose exec private-a python /app/node.py send private-b hello-lan
docker compose exec public-a python /app/node.py send bootstrap hello-boot预期输出:
ACK public-b
ACK private-b
ACK bootstrap在接收端验证消息确实送达,而非发送端自行打印成功:
docker compose logs --no-log-prefix public-b private-b bootstrap预期结果:对应服务日志分别包含 RECV from=public-a text=hello-edge、RECV from=private-a text=hello-lan 和 RECV from=public-a text=hello-boot;实际日志时间可能不同。
最后验证跨网连接被阻断。下面的命令预计以非零状态退出,不应出现 REACHABLE:
docker compose exec public-a python /app/node.py probe private-a预期输出:
UNREACHABLE private-a可再从宿主机查询 curl -fsS http://127.0.0.1:18081/health,预期得到 {"node": "public-a", "status": "ok"};私网节点没有对应宿主机发布端口。若跨网探测竟成功,优先检查是否误把两个节点放进同一网络,或额外启用了跨网络路由。
留下可重复验收的基线
本实验的通过条件是:五个容器运行、成员表包含五个名字、三次同侧或引导消息得到 ACK、接收端日志包含三条 RECV,且 public-a 到 private-a 的直接探测失败。故障注入前保存这些结果,才能区分配置错误与注入造成的变化。
实验结束执行:
docker compose down预期结果:本项目创建的五个容器和 Compose 网络被移除,目录中的 node.py、compose.yaml 不受影响。后续若替换成真实 libp2p 节点,可保留同一双网段拓扑,但应把节点发现、Peer ID、加密连接和中继能力分别作为独立验收项;当前 HTTP 教学实现不提供这些保证。