容器与云原生 / 系统课时

排查访问被意外拒绝

排查访问被意外拒绝

当一次原本应该成功的 Pod 间访问突然超时,最有效的方法不是逐条猜规则,而是同时检查源端 Egress 和目标端 Ingress。只要任意一侧被策略隔离且没有匹配的允许规则,这条连接就无法按预期建立。

学习目标

  • 按源端 Egress 与目标端 Ingress 两个方向定位阻断位置
  • 检查命名空间、Pod 选择器、协议与端口是否共同匹配真实流量
  • 识别默认拒绝与缺失 allow 规则,并在修复后完成回归验证

先固定一次失败连接

排障前先明确五个事实:源 Pod、目标 Pod 或 Service、目标端口、协议以及失败现象。不要一边修改策略一边更换测试对象,否则很难判断哪一次变化真正恢复了连接。

下面假设 client 命名空间中的 Pod 访问 server/api 的 TCP 8080 失败:

bash
kubectl -n client exec deploy/client -- curl --connect-timeout 3 http://api.server.svc.cluster.local:8080/health
kubectl -n client get pod -l app=client --show-labels
kubectl -n server get pod -l app=api --show-labels

预期结果

text
curl: (28) Failed to connect to api.server.svc.cluster.local port 8080 after <TIME>: Timeout was reached
NAME          READY   STATUS    RESTARTS   AGE    LABELS
client-<ID>   1/1     Running   0          <TIME> app=client
NAME       READY   STATUS    RESTARTS   AGE    LABELS
api-<ID>   1/1     Running   0          <TIME> app=api

<TIME> 与 <ID> 是动态值。若 DNS 名称无法解析,应先解决 DNS 问题;NetworkPolicy 排障应建立在请求已经能够正确定位目标地址的基础上。

同时检查源 Egress 与目标 Ingress

对普通 Pod 到 Pod 的受控连接,可以把允许条件理解为两道独立门:如果源 Pod 被 Egress 策略隔离,必须存在允许该出口的规则;如果目标 Pod 被 Ingress 策略隔离,也必须存在允许该入口的规则。只修复其中一侧并不能保证连接恢复。

Pod 访问被拒绝时的双向策略判定流程

先列出两端命名空间中的策略,并观察哪些策略选择了源、目标 Pod:

bash
kubectl -n client get networkpolicy
kubectl -n server get networkpolicy
kubectl -n client describe networkpolicy
kubectl -n server describe networkpolicy

预期结果

text
NAME                 POD-SELECTOR   AGE
client-default-deny  <none>         <TIME>

NAME          POD-SELECTOR   AGE
api-ingress   app=api        <TIME>

实际输出取决于集群对象。看到 default-deny 后不要立即认定它就是根因,因为 NetworkPolicy 是叠加生效的:同方向上只要存在另一条规则允许该流量,就仍可能放行。

核对选择器、端口和协议

最常见的“明明有 allow 仍然不通”来自匹配条件与真实流量不一致。检查策略 YAML 时,需要把 namespaceSelector、podSelector、ports 与实际标签、协议和目标 Pod 端口逐项对齐。

bash
kubectl -n client get networkpolicy -o yaml
kubectl -n server get networkpolicy -o yaml
kubectl get namespace client server --show-labels
kubectl -n server get service api -o wide

预期结果

text
NAME     STATUS   AGE    LABELS
client   Active   <TIME> <LABELS>
server   Active   <TIME> <LABELS>

NAME   TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)   AGE    SELECTOR
api    ClusterIP   <IP>         <none>        8080/TCP  <TIME> app=api

检查时尤其注意两类边界。第一,namespaceSelector 匹配的是 Namespace 对象标签,而不是命名空间名称本身;如果要按名称匹配,应确认集群中相应 Namespace 标签确实存在并与策略表达式一致。第二,NetworkPolicy 的数值端口应按目标 Pod 接收流量的端口理解,而不是机械照抄 Service 的 port。例如 Service 可以用 port: 80 暴露后端 Pod 的 targetPort: 8080,此时到 Pod 的实际流量端口是 8080;若使用命名端口,则策略中的命名端口应与目标 Pod 对应的容器端口名称匹配。Service、kube-proxy 或 CNI 实现可能改变转发路径,因此排障时应以实际到达 Pod 的协议和端口语义为准。

用最小改动验证根因

找到疑似缺失规则后,先做最小范围修复,不要临时把整个命名空间全部放开。修复后重新执行与最初完全相同的请求,再确认 HTTP 响应恢复。

bash
kubectl -n client exec deploy/client -- curl -sS --connect-timeout 3 http://api.server.svc.cluster.local:8080/health

预期结果

text
ok

如果应用的健康检查实际返回 JSON、状态页或其他正文,输出会不同;验证重点是请求能够建立连接并获得应用预期响应。随后再次检查两端策略,确保恢复来自精确的 allow 规则,而不是误删 default-deny 或扩大选择器范围。

访问被意外拒绝时,稳定的定位顺序是先固定失败流量,再分别验证源 Egress 与目标 Ingress,最后核对选择器、协议和端口。这样可以把大量策略对象压缩成少数真正参与这次连接判定的规则。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

排查访问被意外拒绝

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通