容器与云原生 / 系统课时

理解 externalTrafficPolicy

理解 externalTrafficPolicy

本课解决外部流量进入 NodePort 或 LoadBalancer Service 时的两个问题:请求会不会跨节点转发,以及后端 Pod 最终看到谁的来源 IP。你将用一个双节点 NodePort 实验对比 Cluster 与 Local,再明确 LoadBalancer 健康检查与节点流量池的差异。

学习目标

  • 理解 externalTrafficPolicy: Cluster 与 Local 对外部流量路径和来源 IP 的影响。
  • 能用 NodePort 请求与后端日志验证跨节点转发、SNAT 和源 IP 保留行为。
  • 能区分直接访问 NodePort 与 LoadBalancer 在 Local 模式下的节点筛选责任。

Cluster 与 Local 的核心差异

externalTrafficPolicy: Cluster 允许收到外部流量的节点把请求转发到集群中的可用 endpoint,因此入口节点不必有本地 Pod。对默认 NodePort 外部路径而言,请求通常会经过 SNAT,后端看到的是节点侧地址,而不是原始客户端地址;如果后端在其他节点,还会发生一次跨节点转发。

externalTrafficPolicy: Local 则要求节点只把这类外部流量交给本机 endpoint,并保留入口处收到的来源 IP。没有本地 endpoint 的节点不会再把请求转给远端 Pod,因此直接把 NodePort 请求发到这种节点时,请求会被丢弃或超时。

externalTrafficPolicy Cluster 与 Local 流量路径对比

可以把差异归结为一个判断:入口节点是否允许跨节点寻找后端。Cluster 优先扩大可用后端范围,Local 用节点本地性换取源 IP 保留和更直接的转发路径。

建立可复现的 NodePort 实验

实验至少需要两个可被外部客户端访问的工作节点。只部署一个 Nginx Pod,这样可以明确区分“Pod 所在节点”和“没有本地 endpoint 的节点”。Service 不手工填写 nodePort,由 API Server 从 --service-node-port-range 配置的范围中自动分配未占用端口,避免端口越界或冲突。

bash
kubectl apply -f - <<'EOF'
apiVersion: apps/v1
kind: Deployment
metadata:
  name: web
spec:
  replicas: 1
  selector:
    matchLabels:
      app: web
  template:
    metadata:
      labels:
        app: web
    spec:
      containers:
        - name: nginx
          image: nginx:1.27
          ports:
            - containerPort: 80
---
apiVersion: v1
kind: Service
metadata:
  name: web-nodeport
spec:
  type: NodePort
  externalTrafficPolicy: Cluster
  selector:
    app: web
  ports:
    - port: 80
      targetPort: 80
EOF

kubectl rollout status deployment/web
POD=$(kubectl get pod -l app=web -o jsonpath='{.items[0].metadata.name}')
POD_NODE=$(kubectl get pod "$POD" -o jsonpath='{.spec.nodeName}')
REMOTE_NODE=$(kubectl get nodes -o jsonpath='{range .items[*]}{.metadata.name}{"\n"}{end}' | grep -vx "$POD_NODE" | head -n1)
NODE_PORT=$(kubectl get svc web-nodeport -o jsonpath='{.spec.ports[0].nodePort}')
printf 'pod=%s podNode=%s remoteNode=%s nodePort=%s\n' "$POD" "$POD_NODE" "$REMOTE_NODE" "$NODE_PORT"

预期结果

text
deployment.apps/web <APPLY_RESULT>
service/web-nodeport <APPLY_RESULT>
deployment "web" successfully rolled out
pod=web-<ID> podNode=<NODE_A> remoteNode=<NODE_B> nodePort=<PORT>

<ID>、<NODE_A>、<NODE_B>、<PORT> 和 <APPLY_RESULT> 会随环境变化。如果 remoteNode 为空,说明当前没有第二个可用节点,无法完成本课的跨节点对比。外部客户端还必须能够访问这两个节点对应的 NodePort 地址,必要时先放通防火墙或安全组。

验证来源 IP 与跨节点行为

先保持 Cluster,从集群外部访问没有运行该 Pod 的节点。将 <REMOTE_NODE_IP> 替换为 <NODE_B> 对应、且外部客户端可达的节点地址。这样请求必须经过入口节点再转到另一节点上的 Pod,最容易观察默认 NodePort 的 SNAT 行为。

bash
POD=$(kubectl get pod -l app=web -o jsonpath='{.items[0].metadata.name}')
NODE_PORT=$(kubectl get svc web-nodeport -o jsonpath='{.spec.ports[0].nodePort}')
REMOTE_NODE_IP='<REMOTE_NODE_IP>'
curl -sS -o /dev/null -w 'HTTP %{http_code}\n' "http://${REMOTE_NODE_IP}:${NODE_PORT}/?mode=cluster"
kubectl logs "$POD" --tail=1

预期结果

text
HTTP 200
<NODE_SOURCE_IP> - - [<TIME>] "GET /?mode=cluster HTTP/1.1" 200 <VALUE> "-" "curl/<VALUE>" "-"

日志首列通常是经过 SNAT 后的节点侧地址 <NODE_SOURCE_IP>,而不是外部客户端原始地址。随后切换为 Local:先访问 Pod 所在节点,再访问没有本地 endpoint 的另一个节点。

bash
POD=$(kubectl get pod -l app=web -o jsonpath='{.items[0].metadata.name}')
NODE_PORT=$(kubectl get svc web-nodeport -o jsonpath='{.spec.ports[0].nodePort}')
POD_NODE_IP='<POD_NODE_IP>'
REMOTE_NODE_IP='<REMOTE_NODE_IP>'
kubectl patch svc web-nodeport -p '{"spec":{"externalTrafficPolicy":"Local"}}'
kubectl get svc web-nodeport -o jsonpath='{.spec.externalTrafficPolicy}{"\n"}'
curl -sS -o /dev/null -w 'HTTP %{http_code}\n' "http://${POD_NODE_IP}:${NODE_PORT}/?mode=local"
kubectl logs "$POD" --tail=1
if curl --connect-timeout 2 --max-time 5 -sS -o /dev/null "http://${REMOTE_NODE_IP}:${NODE_PORT}/?mode=no-local-endpoint" 2>/dev/null; then
  echo 'no-local-endpoint: unexpected success'
else
  echo 'no-local-endpoint: request failed as expected'
fi

预期结果

text
service/web-nodeport patched
Local
HTTP 200
<CLIENT_IP> - - [<TIME>] "GET /?mode=local HTTP/1.1" 200 <VALUE> "-" "curl/<VALUE>" "-"
no-local-endpoint: request failed as expected

Local 模式下,Pod 日志中的首列应变为入口处收到的客户端来源地址 <CLIENT_IP>,而没有本地 endpoint 的节点不会跨节点补转。如果客户端前面还有 NAT、代理或外部负载均衡器,Pod 能保留的是进入节点时的来源地址,因此它不一定等于客户端网卡上的地址。

LoadBalancer 为什么还要看健康检查

直接访问 NodePort 时,客户端自己选择节点;Local 不会替你避开没有本地 endpoint 的节点。因此节点选错后,请求失败是符合语义的。

type: LoadBalancer 多了一层外部节点选择。对于 externalTrafficPolicy: Local,Kubernetes 为这类 Service 提供 healthCheckNodePort 机制,支持它的负载均衡器或控制器可以据此识别哪些节点有可服务的本地 endpoint,并把无本地 endpoint 的节点排除出流量池。不同云厂商、LB 控制器和代理实现的健康检查方式可能不同,因此不能只看到 Local 就假定外部 LB 一定已经正确筛节点。

排障时应分别确认 Service 的转发策略、Pod 的节点分布,以及外部 LB 实际纳入了哪些节点。Local 决定的是节点收到外部流量后的本地转发语义;外部负载均衡器是否把流量送到合适节点,则是入口实现需要兑现的另一层责任。

选择与排障要点

维度 Cluster Local
后端范围 可选择集群中的可用 endpoint 只选择入口节点本地 endpoint
跨节点转发 可以发生 外部流量不跨节点转给远端 Pod
来源 IP 默认 NodePort 常因 SNAT 显示节点侧地址 保留入口处收到的来源地址
无本地 endpoint 的入口节点 仍可借助远端后端处理 直接 NodePort 请求会被丢弃或超时
LoadBalancer 配合 节点筛选要求较低 需要入口健康检查或等价机制避开不合适节点

如果目标是让更多入口节点都能利用全局后端,Cluster 更直接;如果业务依赖来源 IP,或希望外部请求不发生跨节点转发,则选择 Local,同时检查 Pod 分布、NodePort 到达路径和外部负载均衡器的健康检查是否与这种语义一致。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

理解 externalTrafficPolicy

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通