计算机网络 / 系统课时

连接频繁断开从哪里查

连接频繁断开从哪里查

线上 WebSocket 频繁断开时,最容易浪费时间的做法是直接怀疑服务端代码。一次连接实际会经过客户端、网络、TLS、反向代理或负载均衡器,最后才到应用进程。本节按连接路径逐层收集证据,把“偶尔断线”缩小到可验证的故障点。

学习目标

  • 能根据 close code、断开时间和重连规律判断问题更可能发生在哪一层。
  • 能按客户端、代理、TLS、服务端和网络路径的顺序定位断线原因。
  • 能使用握手测试和日志时间线验证修复是否真正消除了异常断开。

先记录断开证据再猜原因

排查第一步不是重启服务,而是记录一次断开的完整上下文:连接建立时间、断开时间、持续时长、客户端看到的 close code、是否收到 Close 帧、最后一次 ping/pong、代理日志、服务端日志以及对应请求或连接标识。

尤其要正确理解 1006。它是客户端用于表示“连接异常结束、没有收到正常 Close 帧”的本地状态,不是对端通过 WebSocket Close 帧发送出来的状态码。因此看到大量 1006,只能证明连接非正常结束,不能直接推出“服务端主动返回了 1006”。

如果大量连接总是在接近相同持续时间后断开,例如约 60 秒、5 分钟或 1 小时,应优先怀疑代理、负载均衡器、防火墙或 NAT 的空闲超时,而不是随机网络故障。如果断线集中在发布时刻,则应检查进程退出、容器终止和优雅下线机制。

WebSocket 频繁断开分层排查路径

从握手链路排除代理和 TLS

WebSocket 首先通过 HTTP/1.1 Upgrade 建立连接,因此可以把 TLS 和 Upgrade 握手分开验证。下面的命令生成合法的 Sec-WebSocket-Key,再向目标地址发起升级请求。将 <HOST> 和 <PATH> 替换为真实值;若服务还有鉴权要求,需要补充与生产客户端一致的认证头。

bash
WS_KEY=$(openssl rand -base64 16)
curl --http1.1 -i \
  -H 'Connection: Upgrade' \
  -H 'Upgrade: websocket' \
  -H 'Sec-WebSocket-Version: 13' \
  -H "Sec-WebSocket-Key: ${WS_KEY}" \
  "https://<HOST>/<PATH>"

预期结果

text
HTTP/1.1 101 Switching Protocols
Connection: Upgrade
Upgrade: websocket
Sec-WebSocket-Accept: <VALUE>

实际响应头大小写、顺序以及 <VALUE> 会因服务器而不同。如果请求在返回 HTTP 状态前就出现证书验证、握手或连接重置错误,应先处理 TLS 或网络问题;如果返回 301、404、401、403 或其他 HTTP 状态,则说明请求已经到达 HTTP 层,但路由、鉴权或 Upgrade 转发仍需检查。

反向代理还要重点核对是否完整转发 Upgrade 和 Connection 语义,以及读取超时、空闲超时、最大连接时长等配置。这里不要凭经验直接扩大超时时间,应先比较“实际断开持续时长”和“代理配置阈值”是否吻合。

再检查心跳、服务端和发布过程

握手成功但运行一段时间后断开,需要转向长连接生命周期。客户端和服务端必须对心跳策略达成一致:谁发送 ping、多久发送一次、多久没有 pong 判定失活,以及应用层业务消息是否被误当作心跳。若代理会在 60 秒空闲时关闭连接,而应用每 90 秒才发送一次心跳,断线会稳定重现。

服务端日志应区分几类退出原因:主动业务关闭、鉴权或会话过期、写入失败、消息过大、协议错误、进程异常退出,以及部署时的连接清理。仅记录“connection closed”通常不足以定位问题,至少要能关联连接标识、持续时间和关闭原因。

发布过程也常制造集中断线。如果容器收到终止信号后立即退出,所有长连接都会被 TCP 中断。更稳妥的流程是先让实例停止接收新连接,再给现有连接一个排空窗口,必要时向客户端发送明确的关闭信号,使客户端按退避策略重连到其他实例。

最后检查网络路径和重连行为

只有客户端、TLS、代理和服务端都找不到一致证据时,才应把重点扩大到网络路径。移动网络切换、Wi-Fi 漫游、NAT 映射失效、防火墙连接跟踪、跨地域链路抖动都可能直接造成 TCP reset 或长时间无响应。

此时要比较故障是否集中于特定运营商、地域、客户端版本或网络类型。如果只有移动网络用户频繁掉线,而办公网络稳定,就不应继续把服务端作为唯一排查对象。反过来,如果不同地区和终端在同一秒大量断开,则更应检查服务发布、代理故障或上游网络事件。

还要观察重连策略本身。客户端立即无限重连会把一次短暂断线放大成握手风暴。应采用带上限和随机抖动的退避策略,并在监控中同时观察断开速率和新建连接速率;两者同步形成尖峰时,往往说明故障正在被自动重连进一步放大。

用时间线验证根因

最终应把一次故障还原成同一时间轴:客户端在 <TIME> 记录异常关闭,代理是否同时记录 upstream reset,服务端是否存在对应连接关闭日志,主机或容器是否发生重启,网络层是否出现重传或 reset。时间戳需要统一时区并尽量保持时钟同步,否则不同系统的日志很容易被错误关联。

修复后不要只验证“现在能连上”。至少持续观察一个原本容易复现断线的时间窗口,确认异常关闭率下降、固定周期断线消失、新建连接没有继续出现异常尖峰,并检查客户端在正常空闲期间仍能稳定完成心跳。只有这些证据同时成立,才能说明修复针对的是根因,而不是暂时掩盖了症状。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

连接频繁断开从哪里查

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通