容器与云原生 / 系统课时

排查入口到 Service 异常

排查入口到 Service 异常

域名解析和 TLS 都正常,但入口仍出现 502、503、超时或部分失败时,应沿实际转发链逐层取证。本课用入口资源、Service、EndpointSlice、Pod 与两次直连测试,把故障收敛到真正异常的层级。

学习目标

  • 能按入口资源 → Service → EndpointSlice → Pod 的顺序定位异常
  • 能区分后端引用错误、无可用端点、端口错配与应用未监听
  • 能用 Pod 和 Service 直连结果判断是否继续排查入口控制器

沿请求路径逐层缩小范围

入口到应用的典型路径是 Ingress 或 HTTPRoute → Service → EndpointSlice → Pod。入口返回 503 不等于 Service 对象损坏,Service 拥有 ClusterIP 也不等于存在可接收流量的后端;每一层都要用状态或直连结果证明下一跳成立。

入口到 Service 的分层排查链路

排查顺序应固定:先确认入口引用的 Service 与端口,再核对 Service 到 Pod 的端口映射,然后确认 EndpointSlice 中有可用 endpoint,最后验证 Pod 实际监听。只有这些证据都正常,才继续调查入口控制器、入口到后端的网络权限或后端协议配置。

确认入口引用与 Service 端口

使用 Ingress 时,先检查目标 Host、Path、后端 Service 名称和端口。

bash
kubectl -n <NAMESPACE> get ingress <INGRESS_NAME> -o yaml
kubectl -n <NAMESPACE> describe ingress <INGRESS_NAME>

预期结果:目标规则指向实际存在的 Service,后端端口与 Service 的 spec.ports[].port 或端口名一致。关键内容通常类似:

text
Rules:
  Host                Path  Backends
  app.example.com
                      /     web:80 (<VALUE>)

使用 Gateway API 时,检查 HTTPRoute 的 backendRefs 与父级 Condition。

bash
kubectl -n <NAMESPACE> get httproute <ROUTE_NAME> -o yaml
kubectl -n <NAMESPACE> describe httproute <ROUTE_NAME>

预期结果:目标 backendRefs 指向正确的 Service 与端口,父级状态中至少应看到路由已被接受且后端引用可解析,例如:

text
Accepted=True
ResolvedRefs=True

若后端 Service 位于其他 Namespace,还要检查目标 Namespace 中是否存在允许该引用的 ReferenceGrant。出现 ResolvedRefs=False 时,应先修复引用关系,而不是继续向下查 Pod。

接着核对 Service 的 port 与 targetPort。入口引用的是 Service 的 port,Service 再把流量转发到 Pod 的 targetPort。

bash
kubectl -n <NAMESPACE> get service <SERVICE_NAME> -o yaml

预期结果:入口端口与 Pod 监听端口能通过 Service 明确对应,例如:

yaml
spec:
  ports:
    - name: http
      port: 80
      protocol: TCP
      targetPort: 8080

这里入口应引用 Service 的 80,应用需要监听 8080。若 targetPort 是名称,该名称必须能在目标 Pod 的容器端口中解析;若省略 targetPort,其值默认与 port 相同。

检查 EndpointSlice 与 Pod 状态

优先查看 EndpointSlice,并关注端口、地址以及 ready、serving、terminating 条件。对普通 Service 流量而言,通常应至少存在一个可用 endpoint。

bash
kubectl -n <NAMESPACE> get endpointslice \
  -l kubernetes.io/service-name=<SERVICE_NAME> \
  -o custom-columns='NAME:.metadata.name,PORT:.ports[*].port,ADDRESS:.endpoints[*].addresses[*],READY:.endpoints[*].conditions.ready,SERVING:.endpoints[*].conditions.serving,TERMINATING:.endpoints[*].conditions.terminating'

预期输出类似:

text
NAME      PORT   ADDRESS       READY   SERVING   TERMINATING
<VALUE>   8080   <IP>,<IP>     true    true      false

如果没有地址或没有可用 endpoint,继续核对 Service selector 与 Pod label。

bash
kubectl -n <NAMESPACE> get service <SERVICE_NAME> -o jsonpath='{.spec.selector}' && echo
kubectl -n <NAMESPACE> get pods --show-labels

预期输出应能证明 selector 至少匹配一个目标 Pod,例如:

text
{"app":"web"}
NAME      READY   STATUS    LABELS
<VALUE>   1/1     Running   app=web,<VALUE>

selector 与标签不一致时,修复其中一侧并等待 EndpointSlice 重新收敛。若 Service 本身没有 selector,则不会由 EndpointSlice 控制器按 Pod 标签自动生成后端,应确认 EndpointSlice 是否由其他控制器或人工按设计维护。

随后检查 endpoint 对应 Pod。Running 只表示容器正在运行,不能替代 Ready 状态。

bash
kubectl -n <NAMESPACE> get pods -l app=web -o wide
kubectl -n <NAMESPACE> describe pod <POD_NAME>

预期输出类似:

text
NAME      READY   STATUS    RESTARTS   IP
<VALUE>   1/1     Running   0          <IP>

Pod 不 Ready 时,优先检查 readinessProbe、容器启动状态和应用依赖。若 Service 设置了 publishNotReadyAddresses: true,则还要注意未 Ready Pod 也可能被发布到 EndpointSlice,不能只看是否存在地址。

用 Pod 与 Service 直连隔离故障

先从集群内直接访问 Pod 的 targetPort,验证应用是否真正监听。

bash
kubectl -n <NAMESPACE> run backend-check --rm -i --restart=Never --image=curlimages/curl --command -- \
  curl -sv http://<POD_IP>:8080/

预期输出应包含应用自身响应:

text
* Connected to <POD_IP> (<POD_IP>) port 8080
> GET / HTTP/1.1
< HTTP/1.1 200 OK

若返回 Connection refused,重点检查应用监听地址、端口和进程状态;若超时,则继续检查 Pod 间网络、NetworkPolicy 或 CNI 数据面。若只有部分请求失败,应分别验证多个 endpoint,避免被单个异常 Pod 掩盖。

Pod 直连正常后,再访问 Service。该测试会经过 Service 与后端选择,可暂时排除入口控制器。

bash
kubectl -n <NAMESPACE> run service-check --rm -i --restart=Never --image=curlimages/curl --command -- \
  curl -sv http://<SERVICE_NAME>:80/

预期输出:

text
* Connected to <SERVICE_NAME> (<IP>) port 80
> GET / HTTP/1.1
< HTTP/1.1 200 OK

若 Pod IP 可访问而 Service 不可访问,重点检查 Service 端口映射、EndpointSlice 关联以及 kube-proxy 或 eBPF 等 Service 数据面;若 Service 直连正常而入口仍返回 502、503 或超时,故障范围就收敛到入口控制器配置、入口到后端的网络权限、后端协议或控制器状态。

最后从入口域名重新验证完整链路。

bash
curl -sv https://app.example.com/

预期输出应重新得到业务响应:

text
* Connected to app.example.com (<IP>) port 443
> GET / HTTP/2
< HTTP/2 200

动态 IP、对象名和部分状态文本会因环境不同而变化。保留“入口引用正确、Service 映射正确、EndpointSlice 有可用 endpoint、Pod Ready 且监听正确、Pod 与 Service 直连结果明确”这组证据,就能把入口异常定位到真正需要修复的层级。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

排查入口到 Service 异常

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通