大模型应用开发 / 系统课时
备份、升级与回滚
备份、升级与回滚
学习目标
完成本课后,你将能够:
- 识别模型、索引、配置和镜像等不同备份对象
- 执行有版本记录、健康检查和质量回归的升级流程
- 在异常时恢复二进制或容器版本并还原数据
- 通过定期恢复演练验证备份真正可用
备份对象清单
完整系统至少包含:
| 对象 | 是否必须备份 | 原因 |
|---|---|---|
| 自定义 Modelfile | 必须 | 记录模型行为与参数 |
| 自定义权重或适配器 | 必须 | 可能无法重新下载 |
| 模型清单 | 必须 | 便于重建环境 |
| 官方模型 blobs | 视网络和成本决定 | 可重新拉取,但体积大 |
| RAG 索引 | 必须 | 重建可能耗时 |
| 原始文档 | 必须 | 索引的事实来源 |
| 应用代码与配置 | 必须 | 恢复服务 |
| Nginx 与证书配置 | 必须 | 恢复入口 |
| 密码和 Secret | 必须安全备份 | 恢复认证 |
| 容器镜像标签或摘要 | 必须记录 | 精确回滚 |
| 基准测试结果 | 必须 | 判断升级是否退化 |
记录变更前状态
建立目录:
bash
BACKUP_DIR="backups/$(date +%Y%m%d-%H%M%S)"
mkdir -p "$BACKUP_DIR"预期结果:
text
创建带时间戳的备份目录。记录:
bash
ollama --version > "$BACKUP_DIR/ollama-version.txt"
ollama list > "$BACKUP_DIR/ollama-models.txt"
docker compose config > "$BACKUP_DIR/compose-resolved.yaml" 2>/dev/null || true
docker image inspect ollama/ollama:<OLLAMA_VERSION> > "$BACKUP_DIR/ollama-image.json" 2>/dev/null || true预期结果:
text
备份目录中生成版本、模型、Compose 和镜像元数据文件;未使用 Docker 时相关命令可无输出。备份知识数据
停止写入后复制原始文档和索引:
bash
tar -czf "$BACKUP_DIR/knowledge-data.tar.gz" documents data预期结果:
text
生成 knowledge-data.tar.gz,包含 documents 和 data 目录。生成校验和:
bash
sha256sum "$BACKUP_DIR/knowledge-data.tar.gz" > "$BACKUP_DIR/SHA256SUMS"
sha256sum -c "$BACKUP_DIR/SHA256SUMS"预期输出:
text
<BACKUP_FILE>: OK备份完成后恢复写入。多实例系统需要一致性快照或数据库级备份,不能在持续写入时直接复制多个相关文件。
备份 Docker 卷
停止相关服务:
bash
docker compose stop api ollama预期结果:
text
api 和 ollama 容器停止。备份命名卷示例:
bash
docker run --rm -v ollama-data:/source:ro -v "$PWD/$BACKUP_DIR":/backup alpine sh -c 'cd /source && tar -czf /backup/ollama-data.tar.gz .'预期结果:
text
备份目录生成 ollama-data.tar.gz。卷的真实名称可能带 Compose 项目前缀,应先用 docker volume ls 确认。恢复服务:
bash
docker compose start ollama api预期结果:
text
两个服务恢复运行。升级流程
- 阅读目标版本发布说明。
- 在测试环境恢复生产配置和代表性数据。
- 运行升级前基准。
- 完成备份和校验和。
- 暂停写入或进入维护窗口。
- 更新 Ollama、镜像或应用版本。
- 执行健康检查。
- 验证模型列表和索引兼容性。
- 运行固定功能与质量测试。
- 运行性能基准。
- 逐步恢复流量。
- 观察错误率、延迟和资源。
- 达到观察窗口后关闭回滚窗口。
升级不是“进程成功启动”即完成。模型输出、嵌入维度和检索结果都需要回归。
容器版本更新与固定
拉取目标版本:
bash
docker pull ollama/ollama:<TARGET_VERSION>预期结果:
text
目标镜像下载完成或提示已存在。将 compose.yaml 中镜像标签改为目标版本,验证并重建:
bash
docker compose config --quiet
docker compose up -d --no-deps --force-recreate ollama预期结果:
text
Ollama 容器使用目标镜像重新创建,持久卷保持挂载。记录实际镜像摘要:
bash
docker inspect "$(docker compose ps -q ollama)" --format '{{.Image}}'预期输出:
text
sha256:<IMAGE_ID>触发回滚的条件
任一关键条件成立时进入回滚评估:
- 服务无法启动或持续重启
- 原模型无法加载
- 嵌入维度或索引不兼容
- 固定问答测试显著退化
- 结构化输出或工具调用失败率升高
- P95 延迟超过回滚阈值
- 内存或显存异常增长
- 错误率超过阈值
- 安全配置失效
- 数据写入出现损坏
回滚阈值应在变更前定义,不能故障发生后临时讨论。
容器回滚
把 Compose 镜像恢复为旧标签或旧摘要,然后:
bash
docker compose up -d --no-deps --force-recreate ollama
docker compose ps
docker compose logs --tail 100 ollama预期结果:
text
Ollama 使用旧镜像重新创建并进入运行状态,日志没有持续启动错误。若升级同时修改了索引或配置,还必须恢复对应备份。只回滚镜像不能自动撤销数据格式变化。
恢复演练
在隔离目录或测试主机执行:
bash
mkdir -p restore-test
tar -xzf "$BACKUP_DIR/knowledge-data.tar.gz" -C restore-test预期结果:
text
restore-test 中恢复 documents 和 data。演练验收:
- 校验和通过
- 文件数量和权限正确
- 索引可加载
- 已知问题能返回正确来源
- 资料外问题仍拒答
- 恢复时间符合目标
- 操作步骤可由另一位维护者执行
没有恢复演练的备份,只能证明文件被复制,不能证明系统可恢复。
本课练习
练习 1:制作备份清单
任务目标:覆盖程序、模型、索引和安全配置。输入或初始条件:当前系统使用 Compose、Nginx 和 JSON 索引。实现要求:列出备份对象、频率、保留期和加密要求。验收条件:能恢复完整调用链。
练习 2:模拟版本回滚
任务目标:验证镜像固定和数据保留。输入或初始条件:测试环境已有两个 Ollama 镜像版本。实现要求:升级后切回旧标签并运行回归。验收条件:模型、索引和 API 均恢复。
练习 3:执行恢复演练
任务目标:证明备份可用。输入或初始条件:已生成知识数据压缩包和校验和。实现要求:在隔离目录恢复并启动测试实例。验收条件:功能、来源和拒答测试全部通过。
按自己的节奏,确认真正理解。