容器与云原生 / 系统课时

演练入口故障定位与恢复

演练入口故障定位与恢复

入口故障演练的目标不是制造复杂事故,而是训练一条稳定的定位顺序。本课通过路由失配、TLS 异常和后端不可达三类典型故障,建立从现象到证据、再到止损与恢复的统一方法,并用命令验证每一层状态。

学习目标

  • 按 DNS、入口资源、TLS、后端四层定位访问异常
  • 区分路由失配、证书问题与后端不可达的证据
  • 完成止损、恢复与恢复后验证

先按请求链路分层定位

面对入口访问失败,不要一开始就重建控制器。先确认域名是否指向预期入口,再看路由是否被接纳、TLS 是否正常,最后检查 Service 与后端。按请求链路分层,可以避免被相似的 4xx、5xx 或超时现象误导。

入口故障分层定位与恢复

先从客户端复现请求。这里不要使用 -k 跳过证书校验,否则会掩盖证书过期、域名不匹配等 TLS 问题:

bash
curl -v -o /dev/null -w 'http_code=%{http_code}\n' https://app.example.com/health

预期结果:

text
http_code=<VALUE>

<VALUE> 是本次请求的实际 HTTP 状态码;正常时通常为 200。路由未命中可能是 404,后端不可达可能是 502、503 或超时;证书校验失败时常见 http_code=000,并在 curl -v 的诊断信息中看到 TLS 错误。具体状态码仍以入口控制器实现为准。

演练路由失配

路由失配常见于 host 写错、path 规则过窄,或 HTTPRoute 没有被 Gateway 接纳。先同时确认请求域名、路径规则与控制器写回的状态条件:

bash
kubectl get httproute app-route -n demo -o jsonpath='{range .spec.hostnames[*]}host={.}{"\n"}{end}{range .spec.rules[*].matches[*]}path={.path.type}:{.path.value}{"\n"}{end}{range .status.parents[*].conditions[*]}{.type}={.status}{"\n"}{end}'

预期输出示例:

text
host=app.example.com
path=PathPrefix:/
Accepted=True
ResolvedRefs=True

如果 host 与请求域名不一致、path 无法覆盖请求路径,或相关父级状态中的 Accepted=False、ResolvedRefs=False,即可把根因收敛在入口路由层。修复时优先恢复最后一个已知可用版本,而不是现场大幅改写规则;恢复后再从客户端发起请求确认流量进入预期后端。

演练 TLS 异常

TLS 异常先区分“证书引用错误”和“证书内容错误”。先检查 Gateway 或 Ingress 引用的 Secret 是否存在且类型正确:

bash
kubectl get secret web-tls -n demo
kubectl get secret web-tls -n demo -o jsonpath='{.type}{"\n"}'

预期输出:

text
NAME      TYPE                DATA   AGE
web-tls   kubernetes.io/tls   2      <TIME>
kubernetes.io/tls

<TIME> 表示实际资源年龄。若 Secret 缺失,应恢复正确 Secret;若 Secret 存在但客户端仍报告证书过期或域名不匹配,再检查证书有效期与 SAN。止损时不要关闭客户端 TLS 验证,正确动作是恢复已验证的证书,或回滚到上一版正确的证书引用。

演练后端不可达

入口资源状态正常、TLS 也正常,但请求仍返回 5xx 或超时,应继续检查 Service 与 EndpointSlice。先确认 Service 存在,并确认它已经关联可用后端:

bash
kubectl get service app-svc -n demo
kubectl get endpointslice -n demo -l kubernetes.io/service-name=app-svc

预期输出示例:

text
NAME      TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)   AGE
app-svc   ClusterIP   <IP>         <none>        80/TCP    <TIME>
NAME            ADDRESSTYPE   PORTS    ENDPOINTS   AGE
app-svc-<ID>    IPv4          <PORT>   <IP>        <TIME>

<IP>、<PORT>、<TIME>、<ID> 会随环境变化。如果 EndpointSlice 没有有效 endpoint,应继续检查 Service selector、Pod 标签、Ready 状态和目标端口;若 endpoint 存在,再检查 NetworkPolicy、节点数据平面或入口控制器到后端的网络路径。

完成止损与恢复验证

恢复遵循“先止损,再修复,再验证”。路由错误优先回滚路由,TLS 异常恢复正确证书,后端故障先恢复可用 endpoint。完成修复后,从客户端重新访问同一健康检查地址:

bash
curl -fsS https://app.example.com/health

预期输出示例:

text
ok

只有当客户端请求恢复、入口资源状态正常、后端 endpoint 可用三项同时满足时,才算完成恢复。入口资源与 EndpointSlice 可复用前面的检查命令再次确认,避免为了验收重复增加另一套排查步骤。一次有效的入口故障演练最终应留下“现象、证据、根因、止损动作、恢复验证”五类记录,直接沉淀为线上排障手册。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

演练入口故障定位与恢复

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通