大模型应用开发 / 系统课时

备份、升级与回滚

备份、升级与回滚

学习目标

完成本课后,你将能够:

  • 识别模型、索引、配置和镜像等不同备份对象
  • 执行有版本记录、健康检查和质量回归的升级流程
  • 在异常时恢复二进制或容器版本并还原数据
  • 通过定期恢复演练验证备份真正可用

备份对象清单

完整系统至少包含:

对象 是否必须备份 原因
自定义 Modelfile 必须 记录模型行为与参数
自定义权重或适配器 必须 可能无法重新下载
模型清单 必须 便于重建环境
官方模型 blobs 视网络和成本决定 可重新拉取,但体积大
RAG 索引 必须 重建可能耗时
原始文档 必须 索引的事实来源
应用代码与配置 必须 恢复服务
Nginx 与证书配置 必须 恢复入口
密码和 Secret 必须安全备份 恢复认证
容器镜像标签或摘要 必须记录 精确回滚
基准测试结果 必须 判断升级是否退化

记录变更前状态

建立目录:

bash
BACKUP_DIR="backups/$(date +%Y%m%d-%H%M%S)"
mkdir -p "$BACKUP_DIR"

预期结果:

text
创建带时间戳的备份目录。

记录:

bash
ollama --version > "$BACKUP_DIR/ollama-version.txt"
ollama list > "$BACKUP_DIR/ollama-models.txt"
docker compose config > "$BACKUP_DIR/compose-resolved.yaml" 2>/dev/null || true
docker image inspect ollama/ollama:<OLLAMA_VERSION>   > "$BACKUP_DIR/ollama-image.json" 2>/dev/null || true

预期结果:

text
备份目录中生成版本、模型、Compose 和镜像元数据文件;未使用 Docker 时相关命令可无输出。

备份知识数据

停止写入后复制原始文档和索引:

bash
tar -czf "$BACKUP_DIR/knowledge-data.tar.gz"   documents data

预期结果:

text
生成 knowledge-data.tar.gz,包含 documents 和 data 目录。

生成校验和:

bash
sha256sum "$BACKUP_DIR/knowledge-data.tar.gz"   > "$BACKUP_DIR/SHA256SUMS"
sha256sum -c "$BACKUP_DIR/SHA256SUMS"

预期输出:

text
<BACKUP_FILE>: OK

备份完成后恢复写入。多实例系统需要一致性快照或数据库级备份,不能在持续写入时直接复制多个相关文件。

备份 Docker 卷

停止相关服务:

bash
docker compose stop api ollama

预期结果:

text
api 和 ollama 容器停止。

备份命名卷示例:

bash
docker run --rm   -v ollama-data:/source:ro   -v "$PWD/$BACKUP_DIR":/backup   alpine   sh -c 'cd /source && tar -czf /backup/ollama-data.tar.gz .'

预期结果:

text
备份目录生成 ollama-data.tar.gz。卷的真实名称可能带 Compose 项目前缀,应先用 docker volume ls 确认。

恢复服务:

bash
docker compose start ollama api

预期结果:

text
两个服务恢复运行。

升级流程

  1. 阅读目标版本发布说明。
  2. 在测试环境恢复生产配置和代表性数据。
  3. 运行升级前基准。
  4. 完成备份和校验和。
  5. 暂停写入或进入维护窗口。
  6. 更新 Ollama、镜像或应用版本。
  7. 执行健康检查。
  8. 验证模型列表和索引兼容性。
  9. 运行固定功能与质量测试。
  10. 运行性能基准。
  11. 逐步恢复流量。
  12. 观察错误率、延迟和资源。
  13. 达到观察窗口后关闭回滚窗口。

升级不是“进程成功启动”即完成。模型输出、嵌入维度和检索结果都需要回归。

容器版本更新与固定

拉取目标版本:

bash
docker pull ollama/ollama:<TARGET_VERSION>

预期结果:

text
目标镜像下载完成或提示已存在。

将 compose.yaml 中镜像标签改为目标版本,验证并重建:

bash
docker compose config --quiet
docker compose up -d --no-deps --force-recreate ollama

预期结果:

text
Ollama 容器使用目标镜像重新创建,持久卷保持挂载。

记录实际镜像摘要:

bash
docker inspect "$(docker compose ps -q ollama)"   --format '{{.Image}}'

预期输出:

text
sha256:<IMAGE_ID>

触发回滚的条件

任一关键条件成立时进入回滚评估:

  • 服务无法启动或持续重启
  • 原模型无法加载
  • 嵌入维度或索引不兼容
  • 固定问答测试显著退化
  • 结构化输出或工具调用失败率升高
  • P95 延迟超过回滚阈值
  • 内存或显存异常增长
  • 错误率超过阈值
  • 安全配置失效
  • 数据写入出现损坏

回滚阈值应在变更前定义,不能故障发生后临时讨论。

容器回滚

把 Compose 镜像恢复为旧标签或旧摘要,然后:

bash
docker compose up -d --no-deps --force-recreate ollama
docker compose ps
docker compose logs --tail 100 ollama

预期结果:

text
Ollama 使用旧镜像重新创建并进入运行状态,日志没有持续启动错误。

若升级同时修改了索引或配置,还必须恢复对应备份。只回滚镜像不能自动撤销数据格式变化。

恢复演练

在隔离目录或测试主机执行:

bash
mkdir -p restore-test
tar -xzf "$BACKUP_DIR/knowledge-data.tar.gz" -C restore-test

预期结果:

text
restore-test 中恢复 documents 和 data。

演练验收:

  • 校验和通过
  • 文件数量和权限正确
  • 索引可加载
  • 已知问题能返回正确来源
  • 资料外问题仍拒答
  • 恢复时间符合目标
  • 操作步骤可由另一位维护者执行

没有恢复演练的备份,只能证明文件被复制,不能证明系统可恢复。

本课练习

练习 1:制作备份清单

任务目标:覆盖程序、模型、索引和安全配置。输入或初始条件:当前系统使用 Compose、Nginx 和 JSON 索引。实现要求:列出备份对象、频率、保留期和加密要求。验收条件:能恢复完整调用链。

练习 2:模拟版本回滚

任务目标:验证镜像固定和数据保留。输入或初始条件:测试环境已有两个 Ollama 镜像版本。实现要求:升级后切回旧标签并运行回归。验收条件:模型、索引和 API 均恢复。

练习 3:执行恢复演练

任务目标:证明备份可用。输入或初始条件:已生成知识数据压缩包和校验和。实现要求:在隔离目录恢复并启动测试实例。验收条件:功能、来源和拒答测试全部通过。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

备份、升级与回滚

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通