容器与云原生 / 系统课时

设计应用一致性备份流程

设计应用一致性备份流程

CSI 快照只能保存卷在某个时间点的存储状态,不会自动提交数据库事务、刷新缓存或暂停写入。本课把应用冻结、VolumeSnapshot、解冻、独立恢复和业务校验串成一条失败安全的备份闭环,避免“快照成功但恢复不可用”。

学习目标

  • 能区分崩溃一致性快照与应用一致性备份。
  • 能设计参数一致、失败时也会解除冻结的快照编排流程。
  • 能通过独立恢复 PVC、隔离挂载和业务查询验证备份可恢复性。

先定义要保护的一致性

崩溃一致性快照类似突然断电后的磁盘状态:文件系统或数据库可能依赖日志回放恢复,但应用内存中的事务语义不一定完整。应用一致性则要求在快照点前调用应用官方支持的 flush、checkpoint、freeze 或 backup hook,使持久化数据落在应用认可的恢复边界。

因此,VolumeSnapshot 对象本身不能证明“应用一致”。真正的控制链是:应用进入可快照状态,存储形成恢复点,应用恢复写入,再从恢复点创建独立卷并执行应用级校验。

应用一致性 CSI 备份闭环

把冻结窗口做成失败安全流程

下面是片段示例形式的通用编排模板。<QUIESCE_COMMAND> 与 <UNQUIESCE_COMMAND> 必须替换成应用官方支持的冻结与解冻命令;示例还依赖 Pod app/db-0、PVC app/db-data、VolumeSnapshot CRD、snapshot controller,以及支持快照的 csi-snapclass。

bash
set -euo pipefail

NS=app
POD=db-0
PVC=db-data
SNAPSHOT=db-data-consistent-001
SNAPSHOT_CLASS=csi-snapclass
QUIESCE_COMMAND='<QUIESCE_COMMAND>'
UNQUIESCE_COMMAND='<UNQUIESCE_COMMAND>'
FROZEN=0

unfreeze() {
  kubectl -n "$NS" exec "$POD" -- sh -lc "$UNQUIESCE_COMMAND" >/dev/null
}

cleanup() {
  if [ "$FROZEN" -eq 1 ]; then
    unfreeze || true
  fi
}
trap cleanup EXIT

# 先进入失败安全状态,再执行冻结;即使冻结命令部分成功后报错,也会尝试解冻。
FROZEN=1
kubectl -n "$NS" exec "$POD" -- sh -lc "$QUIESCE_COMMAND" >/dev/null

cat <<EOF | kubectl apply -f -
apiVersion: snapshot.storage.k8s.io/v1
kind: VolumeSnapshot
metadata:
  name: ${SNAPSHOT}
  namespace: ${NS}
spec:
  volumeSnapshotClassName: ${SNAPSHOT_CLASS}
  source:
    persistentVolumeClaimName: ${PVC}
EOF

kubectl -n "$NS" wait \
  --for=jsonpath='{.status.readyToUse}'=true \
  "volumesnapshot/$SNAPSHOT" \
  --timeout=300s

unfreeze
FROZEN=0
trap - EXIT

预期输出

text
volumesnapshot.snapshot.storage.k8s.io/db-data-consistent-001 created
volumesnapshot.snapshot.storage.k8s.io/db-data-consistent-001 condition met

这里的快照名称、命名空间、源 PVC 和 SnapshotClass 都来自同一组变量,修改参数后创建对象与后续 wait 不会错位。trap 则保证创建或等待阶段失败时仍会尝试解除冻结,避免业务长期停在只读或暂停写状态。

校验快照状态而不是只看对象存在

VolumeSnapshot 被创建不代表后端快照已经可恢复。至少检查 readyToUse 和 restoreSize;若长期未就绪,再查看 kubectl describe volumesnapshot 以及 snapshot controller、csi-snapshotter 和 CSI driver 日志。

bash
kubectl -n app get volumesnapshot db-data-consistent-001 \
  -o jsonpath='{.status.readyToUse}{"\n"}{.status.restoreSize}{"\n"}'

预期输出

text
true
<SIZE>

<SIZE> 是驱动报告的恢复容量。第一行不是 true 时,这个恢复点还不能进入备份保留与轮转阶段。

用独立恢复证明备份有效

备份验收点不是“快照创建成功”,而是“恢复副本能被应用真实读取”。先从快照创建独立 PVC;其 StorageClass 必须由能够从该 VolumeSnapshot 恢复卷的 CSI 驱动处理,申请容量也不能小于快照要求。

yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: db-data-restore
  namespace: app
spec:
  storageClassName: fast-csi
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 20Gi
  dataSource:
    name: db-data-consistent-001
    kind: VolumeSnapshot
    apiGroup: snapshot.storage.k8s.io

保存为 restore-pvc.yaml 后等待恢复卷完成绑定。

bash
kubectl apply -f restore-pvc.yaml
kubectl -n app wait --for=jsonpath='{.status.phase}'=Bound pvc/db-data-restore --timeout=300s
kubectl -n app get pvc db-data-restore -o jsonpath='{.status.phase}{"\n"}'

预期输出

text
persistentvolumeclaim/db-data-restore created
persistentvolumeclaim/db-data-restore condition met
Bound

Bound 只证明 CSI 已经恢复出一个可挂载卷,还没有证明数据库能启动、目录能读取或关键业务数据正确。下一步必须把恢复卷挂到隔离工作负载执行应用级验收。

在隔离工作负载里做业务校验

下面以源库为 PostgreSQL 16、数据目录为 /var/lib/postgresql/data 为例。验证 Pod 只挂载 db-data-restore,不会接触生产 PVC;db-restore-verify Secret 提供恢复副本的 PGUSER、PGDATABASE 和 PGPASSWORD。如果源库不是 PostgreSQL 16,应改用与源数据匹配的主版本和应用官方校验命令。

yaml
apiVersion: v1
kind: Pod
metadata:
  name: db-restore-verify
  namespace: app
spec:
  restartPolicy: Never
  containers:
    - name: postgres
      image: postgres:16
      args:
        - postgres
        - -D
        - /var/lib/postgresql/data
      envFrom:
        - secretRef:
            name: db-restore-verify
      readinessProbe:
        exec:
          command:
            - sh
            - -lc
            - pg_isready -U "$PGUSER" -d "$PGDATABASE"
        periodSeconds: 2
        failureThreshold: 30
      volumeMounts:
        - name: data
          mountPath: /var/lib/postgresql/data
  volumes:
    - name: data
      persistentVolumeClaim:
        claimName: db-data-restore

保存为 restore-verify-pod.yaml。下面先创建示例验证凭据,再启动恢复副本并执行关键表计数与 schema 导出;生产环境应优先复用受管 Secret,而不是把真实密码写入 shell 历史。

bash
kubectl -n app create secret generic db-restore-verify \
  --from-literal=PGUSER='<DB_USER>' \
  --from-literal=PGDATABASE='<DB_NAME>' \
  --from-literal=PGPASSWORD='<DB_PASSWORD>'

kubectl apply -f restore-verify-pod.yaml
kubectl -n app wait --for=condition=Ready pod/db-restore-verify --timeout=300s

kubectl -n app exec db-restore-verify -- sh -lc \
  'psql -v ON_ERROR_STOP=1 -Atqc "SELECT count(*) FROM public.orders;" &&
   pg_dump --schema-only --no-owner >/dev/null &&
   echo schema_dump_ok'

预期输出

text
secret/db-restore-verify created
pod/db-restore-verify created
pod/db-restore-verify condition met
<ROW_COUNT>
schema_dump_ok

<ROW_COUNT> 应与备份时记录的业务基线一致,表名也应替换为真正关键的数据对象。若 Pod 无法启动、SQL 报错、关键计数不符或 pg_dump 失败,这个快照都不能判定为通过应用一致性验收。只有快照状态、恢复 PVC、隔离启动和业务校验四层都通过,才能把恢复点纳入正式保留策略;若还要抵御集群或存储后端整体故障,还应把恢复点复制到独立故障域。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

设计应用一致性备份流程

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通