容器与云原生 / 系统课时
理解本地与跨节点访问差异
理解本地与跨节点访问差异
同一个 Service 命中本节点后端和跨节点后端时,端点选择之后走过的 Pod 网络路径不同。本节用“本地 Pod IP、远端 Pod IP、ClusterIP”三组结果做一次对照,只负责判断故障是在跨节点 Pod 网络还是 Service 数据平面,避免两层问题混在一起。
学习目标
- 能区分本节点后端与跨节点后端在端点选择后的访问路径
- 能用 Pod IP 与 ClusterIP 的对照结果判断故障属于 Pod 网络还是 Service 数据平面
- 能识别
internalTrafficPolicy: Local等会改变实验含义的配置
两条路径真正差在哪里
假设客户端 Pod 位于 Node A,Service 有两个 Ready 后端:一个位于 Node A,另一个位于 Node B。Service 选择本地后端后,流量不需要经过 Node A 到 Node B 的 Pod 网络;选择远端后端后,则必须跨节点到达 Node B 上的 Pod。

因此,本节最有区分度的判据不是“ClusterIP 能不能访问”,而是“远端 Pod IP 本身能不能访问”。直接访问 Pod IP 会绕过 Service 的虚拟 IP、端点选择和 Service proxy 规则:如果远端 Pod IP 已经失败,应先排查 CNI、跨节点路由、节点防火墙或 NetworkPolicy;只有远端 Pod IP 可达,而 Service 访问仍异常,才有理由进入 Service 数据平面排查。
这里与节点级 Service 转发排查的边界是明确的:本节只完成分层判别,不继续定位 kube-proxy、iptables、IPVS、nftables、连接跟踪或 NAT 规则的具体故障点。
先确认端点位置和流量策略
实验至少需要一个与客户端同节点的 Ready 后端,以及一个位于其他节点的 Ready 后端。还要确认 Service 的 internalTrafficPolicy,因为 Local 会让集群内部流量只使用当前节点上的端点;这种行为本身不是跨节点网络故障。
kubectl get pod -n <NAMESPACE> <CLIENT_POD> -o wide
kubectl get pods -n <NAMESPACE> -l '<LABEL_SELECTOR>' -o wide
kubectl get svc -n <NAMESPACE> <SERVICE_NAME> -o custom-columns='NAME:.metadata.name,CLUSTER-IP:.spec.clusterIP,INTERNAL-TRAFFIC-POLICY:.spec.internalTrafficPolicy'
kubectl get endpointslice -n <NAMESPACE> -l kubernetes.io/service-name=<SERVICE_NAME> -o custom-columns='NAME:.metadata.name,ADDRESSES:.endpoints[*].addresses[*],NODES:.endpoints[*].nodeName,READY:.endpoints[*].conditions.ready'预期输出
客户端 Pod 位于 <NODE_A>。
Ready 后端中至少一个位于 <NODE_A>,另一个位于 <NODE_B>。
Service 显示 <CLUSTER_IP>,并能确认 internalTrafficPolicy 为 Cluster、Local 或未显式设置。
EndpointSlice 能对应出本地与远端后端的 Pod IP、节点和 Ready 状态。若 internalTrafficPolicy 为 Local,不要用“Service 没有访问远端后端”推断跨节点网络异常;此时直接测试远端 Pod IP。若没有同时分布在本地和远端节点的 Ready 后端,也无法完成本节的对照实验。
用一次主实验拆开两个故障层
先选出与客户端同节点的 <LOCAL_POD_IP>,再选出其他节点上的 <REMOTE_POD_IP>。下面假设客户端容器内已有 curl;如果没有,应使用镜像中实际可用的等效 HTTP 客户端。测试顺序先直连两个 Pod IP,再访问 ClusterIP,每一步只增加一个网络层变量。
kubectl exec -n <NAMESPACE> <CLIENT_POD> -- sh -c '
set -eu
echo "local:"
curl -fsS --connect-timeout 3 http://<LOCAL_POD_IP>:<TARGET_PORT>
echo
echo "remote:"
curl -fsS --connect-timeout 3 http://<REMOTE_POD_IP>:<TARGET_PORT>
echo
echo "service:"
for i in 1 2 3 4 5; do
curl -fsS --connect-timeout 3 http://<CLUSTER_IP>:<SERVICE_PORT>
echo
done
'预期输出
local:
<BACKEND_RESPONSE>
remote:
<BACKEND_RESPONSE>
service:
<BACKEND_RESPONSE>
<BACKEND_RESPONSE>
<BACKEND_RESPONSE>
<BACKEND_RESPONSE>
<BACKEND_RESPONSE>实际应用响应可能不同。若响应体不包含 Pod 名称或实例标识,应结合后端访问日志确认 Service 请求实际命中了哪个端点;不能只凭“一次成功”判断它命中过本地还是远端后端。
根据对照结果决定排查层级
| 对照结果 | 分层结论 | 下一步 |
|---|---|---|
| 本地 Pod IP 成功,远端 Pod IP 失败 | 跨节点 Pod 网络路径异常,尚未到 Service proxy 判定阶段 | 查 CNI、节点路由、防火墙和 NetworkPolicy |
| 本地与远端 Pod IP 都成功,但 ClusterIP 失败 | Pod 网络基本可达,问题更靠近 Service 数据平面 | 进入 Service、EndpointSlice 与节点转发规则排查 |
| 远端 Pod IP 成功,且已确认 Service 命中远端端点时失败 | 不是单纯的跨节点 Pod 连通性问题 | 检查 Service proxy、NAT、连接跟踪和返回路径 |
internalTrafficPolicy: Local 且 Service 只使用本地端点 |
可能是配置的预期行为 | 先确认设计意图,不把它误判为跨节点故障 |
核心判据是远端 Pod IP 直连结果。远端 Pod IP 失败时,先解决 Node A 到 Node B 的 Pod 网络;远端 Pod IP 成功而 Service 仍失败时,再进入 Service 数据平面。这样就把“Pod 网络路径是否通”和“Service 如何选择并转发端点”拆成两个独立问题,也避免与后续节点级 Service proxy 定位重复。