容器与云原生 / 系统课时
选择生产排障实验基线
选择生产排障实验基线
存储故障实验只有在版本、配置和验收结果都可重建时才有对比价值。本篇把 Kubernetes 1.36 教学底座固定到一组明确 patch 版本,并把 CSI 驱动、StorageClass 与后端参数作为独立存储档案冻结,最后用证据采集和 PVC 烟测确认基线可复现。
学习目标
- 使用具体 patch 版本建立可复制的 Kubernetes v1.36.3 实验基线
- 区分集群底座与 CSI、存储后端两类需要冻结的变量
- 通过环境证据和 PVC 烟测确认基线可用于后续故障注入
固定可复制的版本矩阵
后续实验除非明确研究版本差异,否则不要在同一轮排障中自动升级组件。教学参考基线固定如下;如果生产环境使用其他发行版、运行时或内核,应把整组值替换成生产实际组合后重新冻结,而不是只保留 Kubernetes minor 版本。
| 基线项 | 固定值 | 说明 |
|---|---|---|
| Kubernetes | v1.36.3 |
kube-apiserver、controller-manager、scheduler 与 kubelet 统一使用该 patch |
| CRI 运行时 | containerd 2.3.3 |
避免运行时差异干扰 CRI、挂载和 namespace 行为判断 |
| 节点 OS | Ubuntu Server 24.04.4 LTS amd64 |
所有实验节点保持同一发行版与架构 |
| Kernel | 6.8.0-138-generic |
固定内核版本,不在实验期间滚动升级 |
| cgroup | v2 |
所有节点保持一致 |
这组值是教学参考矩阵,不是面向所有生产集群的推荐组合。真正要求的是“完整组合可追溯”:若线上使用 RHEL、CRI-O、云厂商内核或不同 patch,应记录整套实际值,并保留镜像、软件仓库快照或其他可重新取得相同构件的方式。
CSI driver 和存储后端不适合使用一套通用版本。应另建“存储配置档案”,至少记录 controller/node driver 的完整镜像引用或 digest、所有 sidecar 镜像、StorageClass YAML、后端产品版本、访问协议、容量和拓扑。这样集群底座与存储栈都能独立复现。
采集环境证据
不要根据安装文档或口头记录判断版本,直接从正在运行的集群采集证据。下面把 Kubernetes、节点、CSIDriver、StorageClass 和 CSI 相关镜像保存到同一目录,供实验前后比对。
BASELINE_DIR="./csi-baseline"
mkdir -p "${BASELINE_DIR}"
kubectl version -o yaml > "${BASELINE_DIR}/kubernetes-version.yaml"
kubectl get nodes \
-o custom-columns='NAME:.metadata.name,KUBELET:.status.nodeInfo.kubeletVersion,RUNTIME:.status.nodeInfo.containerRuntimeVersion,KERNEL:.status.nodeInfo.kernelVersion,OS:.status.nodeInfo.osImage' \
> "${BASELINE_DIR}/nodes.txt"
kubectl get csidrivers.storage.k8s.io \
-o custom-columns='NAME:.metadata.name,ATTACH:.spec.attachRequired,MODES:.spec.volumeLifecycleModes' \
> "${BASELINE_DIR}/csidrivers.txt"
kubectl get storageclass -o yaml > "${BASELINE_DIR}/storageclasses.yaml"
kubectl get pods -A \
-o custom-columns='NAMESPACE:.metadata.namespace,POD:.metadata.name,IMAGES:.spec.containers[*].image' \
| grep -E 'csi|provisioner|attacher|resizer|snapshotter' \
> "${BASELINE_DIR}/csi-images.txt" || true
printf 'baseline saved to %s\n' "${BASELINE_DIR}"预期输出
baseline saved to ./csi-baseline检查 nodes.txt 时,每个节点都应与矩阵一致。若 kubelet、containerd、kernel 或 OS 任一项漂移,应先修正基线再做存储故障实验。csi-images.txt 用于冻结实际 driver 与 sidecar 镜像;如果厂商组件名称不含这些关键字,应按其命名空间或标签补充采集。
选择与故障目标匹配的后端
快速验证 CSI 对象流转时,可以使用 sample 或 hostpath 类驱动检查 provision、bind、publish 和 mount 基本链路,但它不能代表真实网络块存储的 attach、路径冗余、认证、拓扑与故障恢复语义。
生产排障训练应准备一套生产等价存储档案。练 attach/detach 时选择真正声明并实现 attach 的驱动;练拓扑时准备至少两个可区分故障域;练快照、扩容或 ReadWriteMany 时,先确认 driver 与后端支持相应能力,再把版本和参数冻结到档案中。
用 PVC 烟测验收基线
选定 StorageClass 后,用一个 PVC 和长运行 Pod 验证 provision、bind、schedule、publish、mount 与实际读写。把 <STORAGE_CLASS> 替换为实验存储类名称;PV 名称和节点名属于动态值。
STORAGE_CLASS="<STORAGE_CLASS>"
cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: csi-baseline-pvc
spec:
accessModes:
- ReadWriteOnce
storageClassName: ${STORAGE_CLASS}
resources:
requests:
storage: 1Gi
---
apiVersion: v1
kind: Pod
metadata:
name: csi-baseline-pod
spec:
containers:
- name: writer
image: busybox:1.36
command: ["sh", "-c", "echo csi-baseline > /data/probe && sync && cat /data/probe && sleep 3600"]
volumeMounts:
- name: data
mountPath: /data
volumes:
- name: data
persistentVolumeClaim:
claimName: csi-baseline-pvc
EOF
kubectl wait --for=jsonpath='{.status.phase}'=Bound pvc/csi-baseline-pvc --timeout=120s
kubectl wait --for=condition=Ready pod/csi-baseline-pod --timeout=180s
kubectl get pvc csi-baseline-pvc \
-o custom-columns='NAME:.metadata.name,STATUS:.status.phase,VOLUME:.spec.volumeName,CAPACITY:.status.capacity.storage,ACCESS:.status.accessModes[0],STORAGECLASS:.spec.storageClassName'
kubectl get pod csi-baseline-pod \
-o custom-columns='NAME:.metadata.name,STATUS:.status.phase,NODE:.spec.nodeName'
kubectl logs csi-baseline-pod预期输出
persistentvolumeclaim/csi-baseline-pvc created
pod/csi-baseline-pod created
persistentvolumeclaim/csi-baseline-pvc condition met
pod/csi-baseline-pod condition met
NAME STATUS VOLUME CAPACITY ACCESS STORAGECLASS
csi-baseline-pvc Bound pvc-<ID> 1Gi RWO <STORAGE_CLASS>
NAME STATUS NODE
csi-baseline-pod Running <NODE>
csi-baseline如果 PVC 超时仍未 Bound,先检查 StorageClass、PVC Event 和 provisioner;如果 PVC 已绑定但 Pod 未 Ready,再检查调度、VolumeAttachment(驱动需要 attach 时)、kubelet 与 CSI node plugin。只有烟测通过后才开始注入故障,否则无法区分基线缺陷和实验造成的异常。
每次实验只改变一个变量
一套合格基线至少保存固定版本矩阵、CSI 与 StorageClass 配置、PVC 烟测结果以及后端初始状态。实验时一次只改变一个条件,例如停止某个 CSI controller、阻断节点到后端的数据路径、改变拓扑或耗尽后端容量,并在结束后恢复到同一参照点。
这里真正固定的是具体的 v1.36.3 与完整环境组合,而不是抽象的 1.36.z。只要集群底座有明确版本、存储栈有独立档案、烟测有可重复结果,后续每次故障实验才具备可比较性。