容器与云原生 / 系统课时
演练多租户网络隔离落地
演练多租户网络隔离落地
本课通过一个可复现的双租户场景,按“盘点路径→默认拒绝→最小放通→正反验证”的顺序落地 NetworkPolicy,并把 DNS、共享 API 和指定外部 HTTPS 依赖纳入允许清单,最终用实际请求证明业务可达而跨租户流量被拒绝。
学习目标
- 明确租户、共享服务、DNS 与外部依赖之间的通信边界
- 按“先观察、再默认拒绝、最后最小放通”的顺序落地 NetworkPolicy
- 同时验证业务连通性、外部依赖与跨租户隔离,确认策略真实生效
建立演练模型
集群包含两个业务租户 tenant-a、tenant-b,一个共享服务命名空间 shared,以及集群 DNS。目标边界是:租户内可以访问本租户 backend;两个租户都可以访问共享 API、DNS 和一个固定 IP 的外部 HTTPS 依赖;两个租户之间不能直接访问。

这条边界决定了收敛顺序:先明确必须保留的路径,再建立默认拒绝,最后逐项恢复。这样一旦验证失败,可以直接定位是哪一类允许规则缺失,而不是在全量封禁后反复猜测。
准备命名空间与工作负载
先创建三个 Namespace,并为后续选择器添加稳定标签;随后在两个租户各部署一个 backend,在 shared 中部署 shared-api。
# Namespace 标签作为后续策略的稳定选择条件
kubectl create namespace tenant-a
kubectl create namespace tenant-b
kubectl create namespace shared
kubectl label namespace tenant-a tenant=tenant-a --overwrite
kubectl label namespace tenant-b tenant=tenant-b --overwrite
kubectl label namespace shared network-role=shared --overwrite
# 为正反向探测准备三个 HTTP 服务
kubectl create deployment backend --image=nginx:1.27 -n tenant-a
kubectl expose deployment backend --port=80 -n tenant-a
kubectl create deployment backend --image=nginx:1.27 -n tenant-b
kubectl expose deployment backend --port=80 -n tenant-b
kubectl create deployment shared-api --image=nginx:1.27 -n shared
kubectl expose deployment shared-api --port=80 -n shared
kubectl wait --for=condition=Available deployment/backend -n tenant-a --timeout=90s
kubectl wait --for=condition=Available deployment/backend -n tenant-b --timeout=90s
kubectl wait --for=condition=Available deployment/shared-api -n shared --timeout=90s预期输出
namespace/tenant-a created
namespace/tenant-b created
namespace/shared created
namespace/tenant-a labeled
namespace/tenant-b labeled
namespace/shared labeled
deployment.apps/backend created
service/backend exposed
deployment.apps/backend created
service/backend exposed
deployment.apps/shared-api created
service/shared-api exposed
deployment.apps/backend condition met
deployment.apps/backend condition met
deployment.apps/shared-api condition met以上是空环境首次执行的结果;重复演练时,kubectl create 可能提示对象已存在。此时应先清理旧资源,或改成声明式清单后再执行。
建立默认拒绝
先让两个租户中的所有 Pod 同时进入 ingress 与 egress 隔离状态。下面用一个循环把同一条基线策略分别应用到 tenant-a 和 tenant-b,避免复制两份等价 YAML。
for ns in tenant-a tenant-b; do
cat <<EOF | kubectl apply -f -
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: default-deny
namespace: ${ns}
spec:
podSelector: {}
policyTypes:
- Ingress
- Egress
EOF
done预期输出
networkpolicy.networking.k8s.io/default-deny created
networkpolicy.networking.k8s.io/default-deny created首次创建后,两个租户中未被其他策略显式允许的入站和出站流量都会被拒绝。重复执行时状态可能显示为 configured 或 unchanged。
恢复最小必要通信
默认拒绝后需要恢复四类路径:同租户到 backend 的入站、DNS 出站、共享 API 出站、固定外部 IP 的 TCP 443 出站。执行前先在当前 Shell 中设置环境变量 EXTERNAL_IP 为业务依赖实际使用的固定 IPv4 地址。
EXTERNAL_IP="${EXTERNAL_IP:?export EXTERNAL_IP to the fixed IPv4 address first}"
for ns in tenant-a tenant-b; do
cat <<EOF | kubectl apply -f -
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: allow-backend-ingress
namespace: ${ns}
spec:
podSelector:
matchLabels:
app: backend
policyTypes:
- Ingress
ingress:
# 只允许当前租户内的 Pod 访问本租户 backend
- from:
- podSelector: {}
ports:
- protocol: TCP
port: 80
---
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: allow-required-egress
namespace: ${ns}
spec:
podSelector: {}
policyTypes:
- Egress
egress:
# DNS:namespaceSelector 与 podSelector 同时满足
- to:
- namespaceSelector:
matchLabels:
kubernetes.io/metadata.name: kube-system
podSelector:
matchLabels:
k8s-app: kube-dns
ports:
- protocol: UDP
port: 53
- protocol: TCP
port: 53
# 本租户 backend
- to:
- podSelector:
matchLabels:
app: backend
ports:
- protocol: TCP
port: 80
# shared 命名空间中的共享 API
- to:
- namespaceSelector:
matchLabels:
network-role: shared
podSelector:
matchLabels:
app: shared-api
ports:
- protocol: TCP
port: 80
# 指定固定外部 IPv4 的 HTTPS
- to:
- ipBlock:
cidr: ${EXTERNAL_IP}/32
ports:
- protocol: TCP
port: 443
EOF
done预期输出
networkpolicy.networking.k8s.io/allow-backend-ingress created
networkpolicy.networking.k8s.io/allow-required-egress created
networkpolicy.networking.k8s.io/allow-backend-ingress created
networkpolicy.networking.k8s.io/allow-required-egress createdpodSelector: {} 出现在 ingress 的 from 中时,只匹配当前策略所在 Namespace 的 Pod,因此不会把另一个租户放进来。共享 API 的 namespaceSelector 与 podSelector 位于同一个目标项中,两者必须同时满足;若拆成两个独立目标项,会变成两个目标集合的并集。
DNS 规则假设 DNS Pod 使用 k8s-app=kube-dns 标签;不同发行版应按实际标签调整。外部 HTTPS 规则使用 ipBlock,适合固定且经过验证的目标 IP;如果依赖背后是 CDN、动态负载均衡或频繁变化的地址集合,不应把短期解析结果当作长期安全边界。
验证正反路径
在两个租户中各启动一个测试客户端。这里使用带 curl 的镜像,并给 Pod 标记 app=test-client,便于与后端工作负载区分。
for ns in tenant-a tenant-b; do
kubectl run test-client --namespace="${ns}" --image=curlimages/curl:8.10.1 --restart=Never --labels=app=test-client --command -- sleep 600
kubectl wait --for=condition=Ready pod/test-client -n "${ns}" --timeout=60s
done预期输出
pod/test-client created
pod/test-client condition met
pod/test-client created
pod/test-client condition met先验证两个租户各自的后端和共享 API 均可达:
for ns in tenant-a tenant-b; do
kubectl exec -n "${ns}" test-client -- curl -sS --max-time 3 -o /dev/null "http://backend.${ns}.svc.cluster.local/" && echo "PASS: ${ns} backend reachable"
kubectl exec -n "${ns}" test-client -- curl -sS --max-time 3 -o /dev/null http://shared-api.shared.svc.cluster.local/ && echo "PASS: ${ns} shared API reachable"
done预期输出
PASS: tenant-a backend reachable
PASS: tenant-a shared API reachable
PASS: tenant-b backend reachable
PASS: tenant-b shared API reachable再验证外部 HTTPS。先设置 EXTERNAL_HOST 为解析到前述 EXTERNAL_IP 的真实业务域名;如果域名解析到多个地址,必须确认所有实际目的地址都与策略设计一致。
EXTERNAL_HOST="${EXTERNAL_HOST:?export EXTERNAL_HOST first}"
for ns in tenant-a tenant-b; do
kubectl exec -n "${ns}" test-client -- curl -sS --max-time 5 -o /dev/null "https://${EXTERNAL_HOST}/" && echo "PASS: ${ns} external HTTPS reachable"
done预期输出
PASS: tenant-a external HTTPS reachable
PASS: tenant-b external HTTPS reachable最后验证两个方向的跨租户访问都失败:
if kubectl exec -n tenant-a test-client -- curl -sS --max-time 3 -o /dev/null http://backend.tenant-b.svc.cluster.local/ >/dev/null 2>&1; then
echo 'FAIL: tenant-a reached tenant-b'
exit 1
else
echo 'PASS: tenant-a to tenant-b denied'
fi
if kubectl exec -n tenant-b test-client -- curl -sS --max-time 3 -o /dev/null http://backend.tenant-a.svc.cluster.local/ >/dev/null 2>&1; then
echo 'FAIL: tenant-b reached tenant-a'
exit 1
else
echo 'PASS: tenant-b to tenant-a denied'
fi预期输出
PASS: tenant-a to tenant-b denied
PASS: tenant-b to tenant-a denied如果跨租户访问意外成功,优先检查是否存在过宽的 egress 规则,以及 namespaceSelector、podSelector 是否被错误拆成多个目标项。只有租户内业务、DNS、共享 API、指定外部 HTTPS 都可达,同时两个方向的跨租户路径都被拒绝,这次多租户隔离演练才算真正完成。