容器与云原生 / 系统课时
排查访问被意外拒绝
排查访问被意外拒绝
当一次原本应该成功的 Pod 间访问突然超时,最有效的方法不是逐条猜规则,而是同时检查源端 Egress 和目标端 Ingress。只要任意一侧被策略隔离且没有匹配的允许规则,这条连接就无法按预期建立。
学习目标
- 按源端 Egress 与目标端 Ingress 两个方向定位阻断位置
- 检查命名空间、Pod 选择器、协议与端口是否共同匹配真实流量
- 识别默认拒绝与缺失 allow 规则,并在修复后完成回归验证
先固定一次失败连接
排障前先明确五个事实:源 Pod、目标 Pod 或 Service、目标端口、协议以及失败现象。不要一边修改策略一边更换测试对象,否则很难判断哪一次变化真正恢复了连接。
下面假设 client 命名空间中的 Pod 访问 server/api 的 TCP 8080 失败:
kubectl -n client exec deploy/client -- curl --connect-timeout 3 http://api.server.svc.cluster.local:8080/health
kubectl -n client get pod -l app=client --show-labels
kubectl -n server get pod -l app=api --show-labels预期结果
curl: (28) Failed to connect to api.server.svc.cluster.local port 8080 after <TIME>: Timeout was reached
NAME READY STATUS RESTARTS AGE LABELS
client-<ID> 1/1 Running 0 <TIME> app=client
NAME READY STATUS RESTARTS AGE LABELS
api-<ID> 1/1 Running 0 <TIME> app=api<TIME> 与 <ID> 是动态值。若 DNS 名称无法解析,应先解决 DNS 问题;NetworkPolicy 排障应建立在请求已经能够正确定位目标地址的基础上。
同时检查源 Egress 与目标 Ingress
对普通 Pod 到 Pod 的受控连接,可以把允许条件理解为两道独立门:如果源 Pod 被 Egress 策略隔离,必须存在允许该出口的规则;如果目标 Pod 被 Ingress 策略隔离,也必须存在允许该入口的规则。只修复其中一侧并不能保证连接恢复。

先列出两端命名空间中的策略,并观察哪些策略选择了源、目标 Pod:
kubectl -n client get networkpolicy
kubectl -n server get networkpolicy
kubectl -n client describe networkpolicy
kubectl -n server describe networkpolicy预期结果
NAME POD-SELECTOR AGE
client-default-deny <none> <TIME>
NAME POD-SELECTOR AGE
api-ingress app=api <TIME>实际输出取决于集群对象。看到 default-deny 后不要立即认定它就是根因,因为 NetworkPolicy 是叠加生效的:同方向上只要存在另一条规则允许该流量,就仍可能放行。
核对选择器、端口和协议
最常见的“明明有 allow 仍然不通”来自匹配条件与真实流量不一致。检查策略 YAML 时,需要把 namespaceSelector、podSelector、ports 与实际标签、协议和目标 Pod 端口逐项对齐。
kubectl -n client get networkpolicy -o yaml
kubectl -n server get networkpolicy -o yaml
kubectl get namespace client server --show-labels
kubectl -n server get service api -o wide预期结果
NAME STATUS AGE LABELS
client Active <TIME> <LABELS>
server Active <TIME> <LABELS>
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE SELECTOR
api ClusterIP <IP> <none> 8080/TCP <TIME> app=api检查时尤其注意两类边界。第一,namespaceSelector 匹配的是 Namespace 对象标签,而不是命名空间名称本身;如果要按名称匹配,应确认集群中相应 Namespace 标签确实存在并与策略表达式一致。第二,NetworkPolicy 的数值端口应按目标 Pod 接收流量的端口理解,而不是机械照抄 Service 的 port。例如 Service 可以用 port: 80 暴露后端 Pod 的 targetPort: 8080,此时到 Pod 的实际流量端口是 8080;若使用命名端口,则策略中的命名端口应与目标 Pod 对应的容器端口名称匹配。Service、kube-proxy 或 CNI 实现可能改变转发路径,因此排障时应以实际到达 Pod 的协议和端口语义为准。
用最小改动验证根因
找到疑似缺失规则后,先做最小范围修复,不要临时把整个命名空间全部放开。修复后重新执行与最初完全相同的请求,再确认 HTTP 响应恢复。
kubectl -n client exec deploy/client -- curl -sS --connect-timeout 3 http://api.server.svc.cluster.local:8080/health预期结果
ok如果应用的健康检查实际返回 JSON、状态页或其他正文,输出会不同;验证重点是请求能够建立连接并获得应用预期响应。随后再次检查两端策略,确保恢复来自精确的 allow 规则,而不是误删 default-deny 或扩大选择器范围。
访问被意外拒绝时,稳定的定位顺序是先固定失败流量,再分别验证源 Egress 与目标 Ingress,最后核对选择器、协议和端口。这样可以把大量策略对象压缩成少数真正参与这次连接判定的规则。