容器与云原生 / 系统课时
设计应用一致性备份流程
设计应用一致性备份流程
CSI 快照只能保存卷在某个时间点的存储状态,不会自动提交数据库事务、刷新缓存或暂停写入。本课把应用冻结、VolumeSnapshot、解冻、独立恢复和业务校验串成一条失败安全的备份闭环,避免“快照成功但恢复不可用”。
学习目标
- 能区分崩溃一致性快照与应用一致性备份。
- 能设计参数一致、失败时也会解除冻结的快照编排流程。
- 能通过独立恢复 PVC、隔离挂载和业务查询验证备份可恢复性。
先定义要保护的一致性
崩溃一致性快照类似突然断电后的磁盘状态:文件系统或数据库可能依赖日志回放恢复,但应用内存中的事务语义不一定完整。应用一致性则要求在快照点前调用应用官方支持的 flush、checkpoint、freeze 或 backup hook,使持久化数据落在应用认可的恢复边界。
因此,VolumeSnapshot 对象本身不能证明“应用一致”。真正的控制链是:应用进入可快照状态,存储形成恢复点,应用恢复写入,再从恢复点创建独立卷并执行应用级校验。

把冻结窗口做成失败安全流程
下面是片段示例形式的通用编排模板。<QUIESCE_COMMAND> 与 <UNQUIESCE_COMMAND> 必须替换成应用官方支持的冻结与解冻命令;示例还依赖 Pod app/db-0、PVC app/db-data、VolumeSnapshot CRD、snapshot controller,以及支持快照的 csi-snapclass。
set -euo pipefail
NS=app
POD=db-0
PVC=db-data
SNAPSHOT=db-data-consistent-001
SNAPSHOT_CLASS=csi-snapclass
QUIESCE_COMMAND='<QUIESCE_COMMAND>'
UNQUIESCE_COMMAND='<UNQUIESCE_COMMAND>'
FROZEN=0
unfreeze() {
kubectl -n "$NS" exec "$POD" -- sh -lc "$UNQUIESCE_COMMAND" >/dev/null
}
cleanup() {
if [ "$FROZEN" -eq 1 ]; then
unfreeze || true
fi
}
trap cleanup EXIT
# 先进入失败安全状态,再执行冻结;即使冻结命令部分成功后报错,也会尝试解冻。
FROZEN=1
kubectl -n "$NS" exec "$POD" -- sh -lc "$QUIESCE_COMMAND" >/dev/null
cat <<EOF | kubectl apply -f -
apiVersion: snapshot.storage.k8s.io/v1
kind: VolumeSnapshot
metadata:
name: ${SNAPSHOT}
namespace: ${NS}
spec:
volumeSnapshotClassName: ${SNAPSHOT_CLASS}
source:
persistentVolumeClaimName: ${PVC}
EOF
kubectl -n "$NS" wait \
--for=jsonpath='{.status.readyToUse}'=true \
"volumesnapshot/$SNAPSHOT" \
--timeout=300s
unfreeze
FROZEN=0
trap - EXIT预期输出
volumesnapshot.snapshot.storage.k8s.io/db-data-consistent-001 created
volumesnapshot.snapshot.storage.k8s.io/db-data-consistent-001 condition met这里的快照名称、命名空间、源 PVC 和 SnapshotClass 都来自同一组变量,修改参数后创建对象与后续 wait 不会错位。trap 则保证创建或等待阶段失败时仍会尝试解除冻结,避免业务长期停在只读或暂停写状态。
校验快照状态而不是只看对象存在
VolumeSnapshot 被创建不代表后端快照已经可恢复。至少检查 readyToUse 和 restoreSize;若长期未就绪,再查看 kubectl describe volumesnapshot 以及 snapshot controller、csi-snapshotter 和 CSI driver 日志。
kubectl -n app get volumesnapshot db-data-consistent-001 \
-o jsonpath='{.status.readyToUse}{"\n"}{.status.restoreSize}{"\n"}'预期输出
true
<SIZE><SIZE> 是驱动报告的恢复容量。第一行不是 true 时,这个恢复点还不能进入备份保留与轮转阶段。
用独立恢复证明备份有效
备份验收点不是“快照创建成功”,而是“恢复副本能被应用真实读取”。先从快照创建独立 PVC;其 StorageClass 必须由能够从该 VolumeSnapshot 恢复卷的 CSI 驱动处理,申请容量也不能小于快照要求。
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: db-data-restore
namespace: app
spec:
storageClassName: fast-csi
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 20Gi
dataSource:
name: db-data-consistent-001
kind: VolumeSnapshot
apiGroup: snapshot.storage.k8s.io保存为 restore-pvc.yaml 后等待恢复卷完成绑定。
kubectl apply -f restore-pvc.yaml
kubectl -n app wait --for=jsonpath='{.status.phase}'=Bound pvc/db-data-restore --timeout=300s
kubectl -n app get pvc db-data-restore -o jsonpath='{.status.phase}{"\n"}'预期输出
persistentvolumeclaim/db-data-restore created
persistentvolumeclaim/db-data-restore condition met
BoundBound 只证明 CSI 已经恢复出一个可挂载卷,还没有证明数据库能启动、目录能读取或关键业务数据正确。下一步必须把恢复卷挂到隔离工作负载执行应用级验收。
在隔离工作负载里做业务校验
下面以源库为 PostgreSQL 16、数据目录为 /var/lib/postgresql/data 为例。验证 Pod 只挂载 db-data-restore,不会接触生产 PVC;db-restore-verify Secret 提供恢复副本的 PGUSER、PGDATABASE 和 PGPASSWORD。如果源库不是 PostgreSQL 16,应改用与源数据匹配的主版本和应用官方校验命令。
apiVersion: v1
kind: Pod
metadata:
name: db-restore-verify
namespace: app
spec:
restartPolicy: Never
containers:
- name: postgres
image: postgres:16
args:
- postgres
- -D
- /var/lib/postgresql/data
envFrom:
- secretRef:
name: db-restore-verify
readinessProbe:
exec:
command:
- sh
- -lc
- pg_isready -U "$PGUSER" -d "$PGDATABASE"
periodSeconds: 2
failureThreshold: 30
volumeMounts:
- name: data
mountPath: /var/lib/postgresql/data
volumes:
- name: data
persistentVolumeClaim:
claimName: db-data-restore保存为 restore-verify-pod.yaml。下面先创建示例验证凭据,再启动恢复副本并执行关键表计数与 schema 导出;生产环境应优先复用受管 Secret,而不是把真实密码写入 shell 历史。
kubectl -n app create secret generic db-restore-verify \
--from-literal=PGUSER='<DB_USER>' \
--from-literal=PGDATABASE='<DB_NAME>' \
--from-literal=PGPASSWORD='<DB_PASSWORD>'
kubectl apply -f restore-verify-pod.yaml
kubectl -n app wait --for=condition=Ready pod/db-restore-verify --timeout=300s
kubectl -n app exec db-restore-verify -- sh -lc \
'psql -v ON_ERROR_STOP=1 -Atqc "SELECT count(*) FROM public.orders;" &&
pg_dump --schema-only --no-owner >/dev/null &&
echo schema_dump_ok'预期输出
secret/db-restore-verify created
pod/db-restore-verify created
pod/db-restore-verify condition met
<ROW_COUNT>
schema_dump_ok<ROW_COUNT> 应与备份时记录的业务基线一致,表名也应替换为真正关键的数据对象。若 Pod 无法启动、SQL 报错、关键计数不符或 pg_dump 失败,这个快照都不能判定为通过应用一致性验收。只有快照状态、恢复 PVC、隔离启动和业务校验四层都通过,才能把恢复点纳入正式保留策略;若还要抵御集群或存储后端整体故障,还应把恢复点复制到独立故障域。