计算机网络 / 系统课时

建立 HTTP 排障清单

建立 HTTP 排障清单

HTTP 故障容易因为“页面打不开”被混在一起处理。更有效的方法是按地址解析、连接、TLS、HTTP 报文、应用处理和日志关联逐层验证,每一层只回答一个问题,并保存可复现证据,直到找到第一个与预期不一致的位置。

学习目标

  • 按固定顺序区分 DNS、TCP、TLS、HTTP 与应用层故障。
  • 用 curl 和 openssl 记录连接阶段、状态码与证书验证结果。
  • 用请求 ID、时间戳和日志字段把客户端现象关联到代理与应用。

用分层顺序排查

建议把一次 HTTP 故障固定拆成六层。先确认 URL 和主机名,再看 DNS、连接、TLS、HTTP 状态与响应头,最后才进入应用日志。作为排障起点,可以先把连接超时设为 5 秒、整次请求上限设为 15 秒;这只是诊断值,不是生产超时的统一标准。

层级 要确认的问题 典型失败信号
URL scheme、host、port、path 是否正确 访问错环境、错端口、路径拼错
DNS 主机名是否解析到预期 IP Could not resolve host
TCP 目标端口是否可连接 Connection refused、连接超时
TLS SNI、证书主机名、有效期、信任链是否通过 certificate verify failed
HTTP 请求方法、头、状态码、缓存和重定向是否合理 301/302 循环、401、403、404、5xx
应用 请求是否真正到达后端并被正确处理 代理 502/504、应用异常、数据库超时

从地址到应用日志的 HTTP 标准排障清单

用一次 curl 建立时间线

curl 的 -w 可以把关键时间点和状态码一次打印出来。运行下面命令后,输入一个正常时应返回 200 的 HTTPS 健康检查 URL;保留 5 秒连接超时和 15 秒总超时,可以避免故障连接长时间挂住。

bash
# 输入正常时应返回 200 的 HTTPS 健康检查地址
read -r -p 'Health URL: ' TARGET_URL
curl -sS -o /dev/null \
  --connect-timeout 5 \
  --max-time 15 \
  -w 'http_code=%{http_code}\nremote_ip=%{remote_ip}\ntime_namelookup=%{time_namelookup}\ntime_connect=%{time_connect}\ntime_appconnect=%{time_appconnect}\ntime_starttransfer=%{time_starttransfer}\ntime_total=%{time_total}\n' \
  "$TARGET_URL"

健康端点正常时,预期状态码为 200;IP 和各阶段时间会随环境变化:

text
http_code=200
remote_ip=<IP>
time_namelookup=<TIME>
time_connect=<TIME>
time_appconnect=<TIME>
time_starttransfer=<TIME>
time_total=<TIME>

这些时间是累计值,不是各阶段独立耗时。DNS 约等于 time_namelookup;TCP 建连约为 time_connect - time_namelookup;TLS 约为 time_appconnect - time_connect;服务端等待可先看 time_starttransfer - time_appconnect。若某一段突然放大,就优先查对应层。

证书与 TLS 单独确认

HTTPS 失败时不要只看浏览器提示。OpenSSL 1.1.1 与 3.x 都支持下面这组参数:-servername 发送 SNI,-verify_hostname 检查证书主机名,-verify_return_error 在验证失败时返回错误。运行后输入实际 HTTPS 主机名,不要带协议或路径。

bash
# HOST 只填写主机名,不带 https:// 或路径
read -r -p 'HTTPS host: ' HOST
openssl s_client -connect "${HOST}:443" \
  -servername "$HOST" \
  -verify_hostname "$HOST" \
  -verify_return_error </dev/null 2>/dev/null | grep 'Verify return code'

证书主机名、有效期和信任链都通过时,预期输出:

text
Verify return code: 0 (ok)

如果不是 0,再区分主机名不匹配、证书过期、中间证书缺失和本机信任库问题。不要通过 curl -k 或关闭证书校验来“修复”生产问题;这只能证明链路可达,不能证明服务器身份可信。

报文与状态码定位应用边界

进入 HTTP 层后,优先看第一跳状态码和重定向位置。301、302、307、308 要检查 Location 是否指向正确 scheme、host 和 path;401 说明需要认证,403 说明服务已理解请求但拒绝访问,404 要区分网关路由不存在还是应用资源不存在,502/504 则通常要继续检查上游连接和超时。

排查时保留原始请求方法、Host、Authorization 是否存在、Content-Type、请求体大小和响应状态码,不要只保存截图。若请求经过反向代理,再同时记录代理返回状态和上游状态;例如客户端看到 502,而应用日志完全没有请求,边界通常位于代理到上游之间。

把日志证据串起来

一次复现至少固定一个请求 ID,例如 debug-20261003-001,并尽量通过 X-Request-ID 或系统已有的 trace ID 贯穿网关与应用。日志建议同时记录时间戳、请求 ID、host、method、path、status、upstream status、request time 和 upstream response time。

排查顺序可以固定为:先按请求 ID 精确搜索;没有 ID 时,用故障发生时间前后 30 秒加 path 和客户端 IP 缩小范围;再对比代理与应用是否都出现同一请求。如果代理有记录而应用没有,继续查上游连接;两边都有但应用返回 5xx,则进入应用异常和依赖调用日志。

证据 建议记录值 用途
请求 ID debug-20261003-001 或系统 trace ID 跨代理与应用关联同一次请求
时间窗口 故障时间前后 30 秒 没有请求 ID 时缩小日志范围
状态 客户端 status 与 upstream status 判断错误由代理还是上游产生
耗时 request time 与 upstream response time 区分网络等待、上游慢和应用慢

标准清单的价值在于每次都从同一顺序开始,并把“在哪一层第一次偏离预期”记录下来。这样下一位接手的人可以继续验证,而不必重新猜测,也能避免为了一个 404 去改证书、为了一个 TLS 错误去翻业务代码。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

建立 HTTP 排障清单

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通