Web 服务器与网关 / 系统课时

后端节点挂掉后会发生什么

后端节点挂掉后会发生什么

一个节点拒绝连接时,Nginx 可能把当前请求交给另一个节点,也会暂时避开失败节点。本篇用一个未监听的地址复现被动失败检测,分清失败计数、暂停窗口和重试条件,避免把它们误认为持续主动健康检查。

学习目标

  • 配置 max_fails、fail_timeout 与代理重试范围。
  • 验证一个节点失效时 GET 请求仍可由健康节点响应。
  • 解释恢复试探、全部不可用与非幂等请求的限制。

被动检测需要先遇到失败

max_fails=1 fail_timeout=5s 表示在五秒统计窗口内达到一次计入的失败,就将该节点视为不可用五秒。连接错误和超时属于典型失败;哪些情况触发换节点还受 proxy_next_upstream 影响。不是每一份应用错误响应都会自动导致节点退出。

一次连接失败触发暂时避开,窗口结束后重新试探

用空闲端口模拟拒绝连接

以下片段示例整体放入 http 上下文。8080、9002 需空闲;9001 必须没有任何进程监听,本例故意不提供 A。内部 9002 返回固定 B,仅用于安全的 GET 实验。

nginx
upstream fail_nodes {
    zone fail_nodes 64k;
    server 127.0.0.1:9001 max_fails=1 fail_timeout=5s;
    server 127.0.0.1:9002 max_fails=1 fail_timeout=5s;
}
server {
    listen 127.0.0.1:8080;
    server_name fail.test;
    location / {
        proxy_pass http://fail_nodes;
        proxy_connect_timeout 1s;
        proxy_read_timeout 2s;
        # 只在连接类错误或超时时换节点,最多两次上游尝试。
        proxy_next_upstream error timeout;
        proxy_next_upstream_tries 2;
    }
}
server {
    listen 127.0.0.1:9002;
    return 200 "B\n";
}

检查并重载后,首次选到 9001 会收到连接拒绝,若条件允许则尝试 9002。连接拒绝通常立即返回,不等于每次一定等待一秒;连接超时、读取超时和失败暂停窗口是三种不同期限。

同时看客户端结果和入口错误

在本机执行:

bash
# 每条输出都带状态,避免把被重试掩盖的失败当作从未发生。
for n in 1 2 3 4 5 6; do
  curl -sS -H 'Host: fail.test' -w 'status=%{http_code}\n' http://127.0.0.1:8080/
done

预期结果:六次都得到 B 和 status=200。与此同时,error.log 应能找到访问 9001 的连接失败;实际时间、进程号和系统错误文字随平台变化。仅看客户端成功率会漏掉这类被重试覆盖的上游故障,应结合 upstream_addr 与 upstream_status 记录尝试链。

五秒内再次请求通常避开 A;五秒后 A 重新具备被尝试的机会,若它仍未启动,就可能再次失败并进入暂停窗口。这不是后台每五秒发送一次探针,没有流量时不能据此判断业务是否已恢复。

不把重试当成无损保证

所有节点都不可用时,请求仍可能返回 502 或其他最终错误。只有单个服务器的 upstream 对 max_fails、fail_timeout 有特殊处理,不能用单节点配置验证这里的双节点退出行为。相关参数定义见upstream 文档。

响应已经发给客户端后,通常不能再无缝切换节点。POST 这类非幂等请求还可能已经在后端执行,重试需要额外约束;不要为了“提高成功率”直接启用 non_idempotent。支付和创建操作应由应用提供幂等机制,再依据重试规则确定允许的范围。

本例是开源 Nginx 1.28 的被动故障实验,没有使用商业主动 health_check,也没有证明真实数据库或依赖服务健康。恢复节点应先直连验收关键接口,再观察重新进入流量后的错误率。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

后端节点挂掉后会发生什么

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通