容器与云原生 / 系统课时

选择生产排障实验基线

选择生产排障实验基线

存储故障实验只有在版本、配置和验收结果都可重建时才有对比价值。本篇把 Kubernetes 1.36 教学底座固定到一组明确 patch 版本,并把 CSI 驱动、StorageClass 与后端参数作为独立存储档案冻结,最后用证据采集和 PVC 烟测确认基线可复现。

学习目标

  • 使用具体 patch 版本建立可复制的 Kubernetes v1.36.3 实验基线
  • 区分集群底座与 CSI、存储后端两类需要冻结的变量
  • 通过环境证据和 PVC 烟测确认基线可用于后续故障注入

固定可复制的版本矩阵

后续实验除非明确研究版本差异,否则不要在同一轮排障中自动升级组件。教学参考基线固定如下;如果生产环境使用其他发行版、运行时或内核,应把整组值替换成生产实际组合后重新冻结,而不是只保留 Kubernetes minor 版本。

基线项 固定值 说明
Kubernetes v1.36.3 kube-apiserver、controller-manager、scheduler 与 kubelet 统一使用该 patch
CRI 运行时 containerd 2.3.3 避免运行时差异干扰 CRI、挂载和 namespace 行为判断
节点 OS Ubuntu Server 24.04.4 LTS amd64 所有实验节点保持同一发行版与架构
Kernel 6.8.0-138-generic 固定内核版本,不在实验期间滚动升级
cgroup v2 所有节点保持一致

这组值是教学参考矩阵,不是面向所有生产集群的推荐组合。真正要求的是“完整组合可追溯”:若线上使用 RHEL、CRI-O、云厂商内核或不同 patch,应记录整套实际值,并保留镜像、软件仓库快照或其他可重新取得相同构件的方式。

CSI driver 和存储后端不适合使用一套通用版本。应另建“存储配置档案”,至少记录 controller/node driver 的完整镜像引用或 digest、所有 sidecar 镜像、StorageClass YAML、后端产品版本、访问协议、容量和拓扑。这样集群底座与存储栈都能独立复现。

采集环境证据

不要根据安装文档或口头记录判断版本,直接从正在运行的集群采集证据。下面把 Kubernetes、节点、CSIDriver、StorageClass 和 CSI 相关镜像保存到同一目录,供实验前后比对。

bash
BASELINE_DIR="./csi-baseline"
mkdir -p "${BASELINE_DIR}"

kubectl version -o yaml > "${BASELINE_DIR}/kubernetes-version.yaml"
kubectl get nodes \
  -o custom-columns='NAME:.metadata.name,KUBELET:.status.nodeInfo.kubeletVersion,RUNTIME:.status.nodeInfo.containerRuntimeVersion,KERNEL:.status.nodeInfo.kernelVersion,OS:.status.nodeInfo.osImage' \
  > "${BASELINE_DIR}/nodes.txt"
kubectl get csidrivers.storage.k8s.io \
  -o custom-columns='NAME:.metadata.name,ATTACH:.spec.attachRequired,MODES:.spec.volumeLifecycleModes' \
  > "${BASELINE_DIR}/csidrivers.txt"
kubectl get storageclass -o yaml > "${BASELINE_DIR}/storageclasses.yaml"
kubectl get pods -A \
  -o custom-columns='NAMESPACE:.metadata.namespace,POD:.metadata.name,IMAGES:.spec.containers[*].image' \
  | grep -E 'csi|provisioner|attacher|resizer|snapshotter' \
  > "${BASELINE_DIR}/csi-images.txt" || true

printf 'baseline saved to %s\n' "${BASELINE_DIR}"

预期输出

text
baseline saved to ./csi-baseline

检查 nodes.txt 时,每个节点都应与矩阵一致。若 kubelet、containerd、kernel 或 OS 任一项漂移,应先修正基线再做存储故障实验。csi-images.txt 用于冻结实际 driver 与 sidecar 镜像;如果厂商组件名称不含这些关键字,应按其命名空间或标签补充采集。

选择与故障目标匹配的后端

快速验证 CSI 对象流转时,可以使用 sample 或 hostpath 类驱动检查 provision、bind、publish 和 mount 基本链路,但它不能代表真实网络块存储的 attach、路径冗余、认证、拓扑与故障恢复语义。

生产排障训练应准备一套生产等价存储档案。练 attach/detach 时选择真正声明并实现 attach 的驱动;练拓扑时准备至少两个可区分故障域;练快照、扩容或 ReadWriteMany 时,先确认 driver 与后端支持相应能力,再把版本和参数冻结到档案中。

用 PVC 烟测验收基线

选定 StorageClass 后,用一个 PVC 和长运行 Pod 验证 provision、bind、schedule、publish、mount 与实际读写。把 <STORAGE_CLASS> 替换为实验存储类名称;PV 名称和节点名属于动态值。

bash
STORAGE_CLASS="<STORAGE_CLASS>"

cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: csi-baseline-pvc
spec:
  accessModes:
    - ReadWriteOnce
  storageClassName: ${STORAGE_CLASS}
  resources:
    requests:
      storage: 1Gi
---
apiVersion: v1
kind: Pod
metadata:
  name: csi-baseline-pod
spec:
  containers:
    - name: writer
      image: busybox:1.36
      command: ["sh", "-c", "echo csi-baseline > /data/probe && sync && cat /data/probe && sleep 3600"]
      volumeMounts:
        - name: data
          mountPath: /data
  volumes:
    - name: data
      persistentVolumeClaim:
        claimName: csi-baseline-pvc
EOF

kubectl wait --for=jsonpath='{.status.phase}'=Bound pvc/csi-baseline-pvc --timeout=120s
kubectl wait --for=condition=Ready pod/csi-baseline-pod --timeout=180s
kubectl get pvc csi-baseline-pvc \
  -o custom-columns='NAME:.metadata.name,STATUS:.status.phase,VOLUME:.spec.volumeName,CAPACITY:.status.capacity.storage,ACCESS:.status.accessModes[0],STORAGECLASS:.spec.storageClassName'
kubectl get pod csi-baseline-pod \
  -o custom-columns='NAME:.metadata.name,STATUS:.status.phase,NODE:.spec.nodeName'
kubectl logs csi-baseline-pod

预期输出

text
persistentvolumeclaim/csi-baseline-pvc created
pod/csi-baseline-pod created
persistentvolumeclaim/csi-baseline-pvc condition met
pod/csi-baseline-pod condition met
NAME               STATUS   VOLUME     CAPACITY   ACCESS   STORAGECLASS
csi-baseline-pvc   Bound    pvc-<ID>   1Gi        RWO      <STORAGE_CLASS>
NAME               STATUS    NODE
csi-baseline-pod   Running   <NODE>
csi-baseline

如果 PVC 超时仍未 Bound,先检查 StorageClass、PVC Event 和 provisioner;如果 PVC 已绑定但 Pod 未 Ready,再检查调度、VolumeAttachment(驱动需要 attach 时)、kubelet 与 CSI node plugin。只有烟测通过后才开始注入故障,否则无法区分基线缺陷和实验造成的异常。

每次实验只改变一个变量

一套合格基线至少保存固定版本矩阵、CSI 与 StorageClass 配置、PVC 烟测结果以及后端初始状态。实验时一次只改变一个条件,例如停止某个 CSI controller、阻断节点到后端的数据路径、改变拓扑或耗尽后端容量,并在结束后恢复到同一参照点。

这里真正固定的是具体的 v1.36.3 与完整环境组合,而不是抽象的 1.36.z。只要集群底座有明确版本、存储栈有独立档案、烟测有可重复结果,后续每次故障实验才具备可比较性。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

选择生产排障实验基线

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通