架构与系统设计 / 系统课时

搭建可注入故障的本地环境

搭建可注入故障的本地环境

这节课搭一个最小但可重复的分布式实验环境:两个服务实例、一个数据库和一个网络故障注入代理。完成后可以主动制造延迟、断连和节点重启,并用命令验证系统在故障下的可观察行为。

学习目标

  • 用 Docker Compose 组合多实例服务、数据库和网络代理
  • 注入延迟与断连,并区分网络故障和节点故障
  • 用可重复命令验证实验环境是否真的产生了预期故障

准备可重复的本地拓扑

下面使用 Docker Compose、Nginx、PostgreSQL 和 Toxiproxy。Nginx 作为可横向扩展的服务实例,Toxiproxy 位于客户端与服务之间,负责注入网络故障;PostgreSQL 提供独立的有状态组件,便于后续扩展数据库故障实验。

本地故障注入实验拓扑

创建 compose.yaml,这是配置文件示例;保存后用后面的命令启动并验证。

yaml
services:
  app:
    image: nginx:alpine

  db:
    image: postgres:16-alpine
    environment:
      POSTGRES_PASSWORD: demo
    healthcheck:
      test: ["CMD-SHELL", "pg_isready -U postgres"]
      interval: 2s
      timeout: 2s
      retries: 10

  toxiproxy:
    image: ghcr.io/shopify/toxiproxy:latest
    ports:
      - "8474:8474"
      - "8080:8080"

这里不把 app 端口直接暴露给宿主机,避免测试绕过故障代理。8474 是 Toxiproxy 管理 API,8080 是稍后创建的代理监听端口;启动后的容器状态和代理请求就是这份配置的验证方法。

启动服务并建立代理

先启动两个 app 实例,再通过 Toxiproxy API 创建一条到 app:80 的代理。Docker Compose 的服务名会在默认网络中提供 DNS 解析。

bash
docker compose up -d --wait --scale app=2 >/dev/null 2>&1

curl --retry 10 --retry-connrefused --retry-delay 1 -sSf \
  http://127.0.0.1:8474/version >/dev/null

curl -sS -X POST http://127.0.0.1:8474/proxies \
  -H 'Content-Type: application/json' \
  -d '{"name":"app-proxy","listen":"0.0.0.0:8080","upstream":"app:80"}' >/dev/null

docker compose ps --format '{{.Service}} {{.State}}' | sort
docker compose exec -T db pg_isready -h 127.0.0.1 -U postgres
curl -sS -o /dev/null -w 'status=%{http_code}\n' http://127.0.0.1:8080/

预期输出

text
app running
app running
db running
toxiproxy running
127.0.0.1:5432 - accepting connections
status=200

若 Compose 版本使用不同的状态词,实际文字可能略有差异;关键是两个 app 实例都在运行、PostgreSQL 接受连接,并且经 8080 访问返回 HTTP 200。

注入延迟与断连

网络故障应从代理层注入,而不是通过让应用主动 sleep 来伪造。这样延迟发生在真实连接路径上,更接近跨节点网络抖动。

bash
curl -sS -X POST http://127.0.0.1:8474/proxies/app-proxy/toxics \
  -H 'Content-Type: application/json' \
  -d '{"name":"latency","type":"latency","stream":"downstream","attributes":{"latency":1200}}' >/dev/null

ELAPSED="$(curl -sS -o /dev/null -w '%{time_total}' http://127.0.0.1:8080/)"
awk -v t="$ELAPSED" 'BEGIN {print (t >= 1.1 ? "latency_injected=yes" : "latency_injected=no")}'

curl -sS -X DELETE http://127.0.0.1:8474/proxies/app-proxy/toxics/latency >/dev/null
curl -sS -X POST http://127.0.0.1:8474/proxies/app-proxy \
  -H 'Content-Type: application/json' \
  -d '{"enabled":false}' >/dev/null

curl -sS --max-time 2 http://127.0.0.1:8080/ >/dev/null 2>&1 || echo 'proxy_disconnected=yes'

curl -sS -X POST http://127.0.0.1:8474/proxies/app-proxy \
  -H 'Content-Type: application/json' \
  -d '{"enabled":true}' >/dev/null

预期输出

text
latency_injected=yes
proxy_disconnected=yes

第一行说明 1200 毫秒延迟确实进入请求路径,第二行说明禁用代理后连接失败。脚本最后重新启用代理,避免这次实验污染下一项测试。

模拟单节点重启

节点故障与网络故障应分开验证。下面只重启一个 app 容器,并确认两个实例最终都重新处于运行状态。

bash
APP_ID="$(docker compose ps -q app | head -n 1)"
docker restart "$APP_ID" >/dev/null
echo "restarted=${APP_ID:0:12}"
docker compose ps app --format '{{.Service}} {{.State}}' | sort

预期输出

text
restarted=<ID>
app running
app running

<ID> 是动态容器 ID 的前 12 位,实际值每次都可能不同。这个最小拓扑只验证“能够单独重启一个实例”,并不承诺另一个实例会自动接管流量;要测试高可用切换,还需要在服务实例前增加负载均衡层。

验收实验环境

一个可用的故障实验环境不只是“容器都启动了”,而是能够重复地在基线、延迟、断连和节点重启之间切换。每次实验都记录注入动作、开始时间、恢复动作和观察到的状态码或耗时。

实验结束后可以删除本次创建的容器和网络;如果还要做数据库恢复实验,就保留数据库数据卷。只要故障能够被明确注入、观察并恢复,这套环境就可以作为后续超时、重试、熔断和故障恢复实验的基础。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

搭建可注入故障的本地环境

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通