容器与云原生 / 系统课时
排查入口到 Service 异常
排查入口到 Service 异常
域名解析和 TLS 都正常,但入口仍出现 502、503、超时或部分失败时,应沿实际转发链逐层取证。本课用入口资源、Service、EndpointSlice、Pod 与两次直连测试,把故障收敛到真正异常的层级。
学习目标
- 能按入口资源 → Service → EndpointSlice → Pod 的顺序定位异常
- 能区分后端引用错误、无可用端点、端口错配与应用未监听
- 能用 Pod 和 Service 直连结果判断是否继续排查入口控制器
沿请求路径逐层缩小范围
入口到应用的典型路径是 Ingress 或 HTTPRoute → Service → EndpointSlice → Pod。入口返回 503 不等于 Service 对象损坏,Service 拥有 ClusterIP 也不等于存在可接收流量的后端;每一层都要用状态或直连结果证明下一跳成立。

排查顺序应固定:先确认入口引用的 Service 与端口,再核对 Service 到 Pod 的端口映射,然后确认 EndpointSlice 中有可用 endpoint,最后验证 Pod 实际监听。只有这些证据都正常,才继续调查入口控制器、入口到后端的网络权限或后端协议配置。
确认入口引用与 Service 端口
使用 Ingress 时,先检查目标 Host、Path、后端 Service 名称和端口。
kubectl -n <NAMESPACE> get ingress <INGRESS_NAME> -o yaml
kubectl -n <NAMESPACE> describe ingress <INGRESS_NAME>预期结果:目标规则指向实际存在的 Service,后端端口与 Service 的 spec.ports[].port 或端口名一致。关键内容通常类似:
Rules:
Host Path Backends
app.example.com
/ web:80 (<VALUE>)使用 Gateway API 时,检查 HTTPRoute 的 backendRefs 与父级 Condition。
kubectl -n <NAMESPACE> get httproute <ROUTE_NAME> -o yaml
kubectl -n <NAMESPACE> describe httproute <ROUTE_NAME>预期结果:目标 backendRefs 指向正确的 Service 与端口,父级状态中至少应看到路由已被接受且后端引用可解析,例如:
Accepted=True
ResolvedRefs=True若后端 Service 位于其他 Namespace,还要检查目标 Namespace 中是否存在允许该引用的 ReferenceGrant。出现 ResolvedRefs=False 时,应先修复引用关系,而不是继续向下查 Pod。
接着核对 Service 的 port 与 targetPort。入口引用的是 Service 的 port,Service 再把流量转发到 Pod 的 targetPort。
kubectl -n <NAMESPACE> get service <SERVICE_NAME> -o yaml预期结果:入口端口与 Pod 监听端口能通过 Service 明确对应,例如:
spec:
ports:
- name: http
port: 80
protocol: TCP
targetPort: 8080这里入口应引用 Service 的 80,应用需要监听 8080。若 targetPort 是名称,该名称必须能在目标 Pod 的容器端口中解析;若省略 targetPort,其值默认与 port 相同。
检查 EndpointSlice 与 Pod 状态
优先查看 EndpointSlice,并关注端口、地址以及 ready、serving、terminating 条件。对普通 Service 流量而言,通常应至少存在一个可用 endpoint。
kubectl -n <NAMESPACE> get endpointslice \
-l kubernetes.io/service-name=<SERVICE_NAME> \
-o custom-columns='NAME:.metadata.name,PORT:.ports[*].port,ADDRESS:.endpoints[*].addresses[*],READY:.endpoints[*].conditions.ready,SERVING:.endpoints[*].conditions.serving,TERMINATING:.endpoints[*].conditions.terminating'预期输出类似:
NAME PORT ADDRESS READY SERVING TERMINATING
<VALUE> 8080 <IP>,<IP> true true false如果没有地址或没有可用 endpoint,继续核对 Service selector 与 Pod label。
kubectl -n <NAMESPACE> get service <SERVICE_NAME> -o jsonpath='{.spec.selector}' && echo
kubectl -n <NAMESPACE> get pods --show-labels预期输出应能证明 selector 至少匹配一个目标 Pod,例如:
{"app":"web"}
NAME READY STATUS LABELS
<VALUE> 1/1 Running app=web,<VALUE>selector 与标签不一致时,修复其中一侧并等待 EndpointSlice 重新收敛。若 Service 本身没有 selector,则不会由 EndpointSlice 控制器按 Pod 标签自动生成后端,应确认 EndpointSlice 是否由其他控制器或人工按设计维护。
随后检查 endpoint 对应 Pod。Running 只表示容器正在运行,不能替代 Ready 状态。
kubectl -n <NAMESPACE> get pods -l app=web -o wide
kubectl -n <NAMESPACE> describe pod <POD_NAME>预期输出类似:
NAME READY STATUS RESTARTS IP
<VALUE> 1/1 Running 0 <IP>Pod 不 Ready 时,优先检查 readinessProbe、容器启动状态和应用依赖。若 Service 设置了 publishNotReadyAddresses: true,则还要注意未 Ready Pod 也可能被发布到 EndpointSlice,不能只看是否存在地址。
用 Pod 与 Service 直连隔离故障
先从集群内直接访问 Pod 的 targetPort,验证应用是否真正监听。
kubectl -n <NAMESPACE> run backend-check --rm -i --restart=Never --image=curlimages/curl --command -- \
curl -sv http://<POD_IP>:8080/预期输出应包含应用自身响应:
* Connected to <POD_IP> (<POD_IP>) port 8080
> GET / HTTP/1.1
< HTTP/1.1 200 OK若返回 Connection refused,重点检查应用监听地址、端口和进程状态;若超时,则继续检查 Pod 间网络、NetworkPolicy 或 CNI 数据面。若只有部分请求失败,应分别验证多个 endpoint,避免被单个异常 Pod 掩盖。
Pod 直连正常后,再访问 Service。该测试会经过 Service 与后端选择,可暂时排除入口控制器。
kubectl -n <NAMESPACE> run service-check --rm -i --restart=Never --image=curlimages/curl --command -- \
curl -sv http://<SERVICE_NAME>:80/预期输出:
* Connected to <SERVICE_NAME> (<IP>) port 80
> GET / HTTP/1.1
< HTTP/1.1 200 OK若 Pod IP 可访问而 Service 不可访问,重点检查 Service 端口映射、EndpointSlice 关联以及 kube-proxy 或 eBPF 等 Service 数据面;若 Service 直连正常而入口仍返回 502、503 或超时,故障范围就收敛到入口控制器配置、入口到后端的网络权限、后端协议或控制器状态。
最后从入口域名重新验证完整链路。
curl -sv https://app.example.com/预期输出应重新得到业务响应:
* Connected to app.example.com (<IP>) port 443
> GET / HTTP/2
< HTTP/2 200动态 IP、对象名和部分状态文本会因环境不同而变化。保留“入口引用正确、Service 映射正确、EndpointSlice 有可用 endpoint、Pod Ready 且监听正确、Pod 与 Service 直连结果明确”这组证据,就能把入口异常定位到真正需要修复的层级。