大模型应用开发 / 系统课时
完成生产部署检查
完成生产部署检查
学习目标
完成本课后,你将能够:
- 使用分层清单检查 Ollama 与知识助手的生产准备度
- 定义安全、容量、可用性、数据和观测的验收证据
- 识别必须阻止上线的高风险问题
- 形成上线、回滚和责任人明确的最终评审记录
生产检查的原则
生产检查不是确认“页面能打开”,而是证明系统在目标流量、目标数据和故障条件下可控。每个检查项必须有:
- 明确结果:通过、失败或有条件通过
- 可验证证据:命令输出、截图、日志、报告或配置
- 责任人
- 失败处理
- 截止时间
- 是否阻止上线
没有证据的“已确认”不应视为通过。
架构与访问边界
- ☐ Ollama 端口未直接暴露到公网。
- ☐ 外部流量只经过受控代理或网关。
- ☐ 管理入口和业务入口已分离。
- ☐ 内部网络和防火墙只开放必要端口。
- ☐ DNS、证书和代理路径与设计一致。
- ☐ 后端只连接预期 Ollama 地址。
- ☐ 开发、测试和生产环境隔离。
- ☐ 容器或服务以最小权限用户运行。
阻止上线:公网可匿名访问裸 Ollama API、未知端口暴露、测试环境数据与生产混用。
身份认证与授权
- ☐ 所有业务接口需要认证。
- ☐ 凭证不写入镜像、代码或日志。
- ☐ Secret 有轮换和吊销机制。
- ☐ 文档来源按用户或组织过滤。
- ☐ 管理操作使用更高权限。
- ☐ 登录失败、越权和敏感操作有审计。
- ☐ 服务间凭证具有最小权限。
- ☐ Basic Auth 仅用于符合风险等级的小型内网场景。
阻止上线:匿名用户可读取受限资料、所有用户共享不可审计凭证、权限过滤只依赖前端。
数据安全与隐私
- ☐ 明确哪些提示词、回答和文档允许记录。
- ☐ 日志默认不保存完整敏感正文。
- ☐ 原始文档、索引和备份已加密或受权限保护。
- ☐ 上传大小、类型和内容经过校验。
- ☐ 数据保留与删除流程已定义。
- ☐ 第三方插件、工具和遥测的数据路径已审查。
- ☐ 备份有异地或独立故障域副本。
- ☐ 恢复演练已通过。
阻止上线:敏感数据通过日志外泄、备份无权限保护、无法删除已撤销文档。
模型与索引版本
- ☐ 生成模型名称、标签和摘要已记录。
- ☐ 嵌入模型与索引元数据一致。
- ☐ 更换嵌入模型会触发重建或拒绝加载。
- ☐ Modelfile 和提示词版本可追踪。
- ☐ 固定测试集通过。
- ☐ 结构化输出、工具调用和拒答符合要求。
- ☐ 模型许可证适用于当前用途。
- ☐ 量化版本经过业务质量验证。
阻止上线:索引和嵌入模型不匹配、模型来源或许可证不明、固定测试集出现关键错误。
容量与性能
- ☐ 已使用真实输入和输出长度压测。
- ☐ 推荐并发和队列上限已配置。
- ☐ P95 首字与总耗时满足目标。
- ☐ 峰值内存和显存保留安全余量。
- ☐ 长上下文与并发组合通过。
- ☐ 过载会受控返回,不会无限排队。
- ☐ 客户端取消能释放下游资源。
- ☐ 磁盘空间有增长预测和告警。
- ☐ 持续运行测试没有明显泄漏或降频。
阻止上线:目标负载下发生 OOM、持续 Swap、超时率不可接受或队列无上限。
可用性与故障恢复
- ☐ 服务和容器有合理重启策略。
- ☐ 健康检查覆盖代理、后端和 Ollama。
- ☐ 模型冷启动时间已纳入恢复目标。
- ☐ 单节点故障的业务影响已接受或有冗余。
- ☐ 上游超时、重试和熔断边界明确。
- ☐ 升级和回滚步骤已演练。
- ☐ 配置和数据均可恢复。
- ☐ 故障联系人与升级路径明确。
- ☐ 维护窗口和变更冻结规则已定义。
阻止上线:没有可执行回滚、健康检查只看进程、关键数据无法恢复。
日志、指标与告警
- ☐ 请求有
request_id或trace_id。 - ☐ 记录状态码、模型、Token、首字和总耗时。
- ☐ 收集 CPU、内存、GPU、显存和磁盘。
- ☐ 监控模型加载、卸载和队列。
- ☐ 关键错误有分类。
- ☐ 日志有保留期和轮转。
- ☐ 告警包含阈值、持续时间和处理手册。
- ☐ 监控系统自身有可用性保障。
- ☐ 版本变更能在图表中标记。
阻止上线:关键故障无日志、磁盘写满无告警、无法区分代理与模型服务错误。
依赖与供应链
- ☐ Ollama、基础镜像和应用依赖固定版本。
- ☐ 镜像来自可信仓库。
- ☐ 构建过程可重复。
- ☐ 依赖漏洞扫描已完成。
- ☐ 不需要的端口、包和工具已移除。
- ☐ 容器不使用特权模式。
- ☐ 文件挂载为只读或最小写权限。
- ☐ 主机驱动与 Ollama 兼容性已记录。
- ☐ 升级来源和发布说明可追踪。
阻止上线:使用来源不明镜像、长期凭证写进镜像、容器无必要却使用特权模式。
最终验收命令
服务状态:
docker compose ps预期结果:
所有必需服务处于 running 或 healthy,未出现持续重启。入口健康:
curl --fail --silent --show-error --user '<USERNAME>:<PASSWORD>' https://<DOMAIN>/health预期 HTTP 结果:
状态码 200,后端和 Ollama 状态正常。确认没有裸端口:
ss -lntp | grep -E ':443|:8000|:11434'预期结果:
443 按设计监听;8000 和 11434 不应在公网地址直接监听。具体本地或容器监听取决于架构。模型与索引:
docker compose exec ollama ollama list
docker compose exec api python -c "import json; print(len(json.load(open('/data/index.json'))['chunks']))"预期结果:
显示预期模型列表和大于 0 的索引块数量。这些命令是验收的一部分,不能代替权限、容量、恢复和质量测试。
上线决策表
| 项目 | 结果 | 证据 | 风险 | 责任人 | 是否阻止上线 |
|---|---|---|---|---|---|
| 访问边界 | 通过/失败 | 配置与端口结果 | 风险说明 | 姓名 | 是/否 |
| 认证授权 | 通过/失败 | 测试记录 | 风险说明 | 姓名 | 是/否 |
| 数据与备份 | 通过/失败 | 恢复报告 | 风险说明 | 姓名 | 是/否 |
| 模型质量 | 通过/失败 | 评测报告 | 风险说明 | 姓名 | 是/否 |
| 容量性能 | 通过/失败 | 压测报告 | 风险说明 | 姓名 | 是/否 |
| 观测告警 | 通过/失败 | 看板与演练 | 风险说明 | 姓名 | 是/否 |
| 回滚恢复 | 通过/失败 | 演练记录 | 风险说明 | 姓名 | 是/否 |
只有所有阻断项关闭,才能批准上线。有条件通过项必须有明确期限和补偿措施。
上线后的观察窗口
上线后立即进入观察窗口:
- 小比例流量验证
- 对比升级前基线
- 观察首字、总耗时和错误率
- 观察 GPU、显存、内存和队列
- 抽样核对回答与引用
- 检查认证失败和异常访问
- 检查日志与磁盘增长
- 确认备份任务按计划执行
超过预设阈值时按变更计划降级或回滚,不应在生产现场持续试错。
本课练习
练习 1:执行上线检查
任务目标:对当前项目逐项验收。输入或初始条件:已完成知识助手部署。实现要求:填写全部清单并附证据。验收条件:所有阻断项有明确结论和责任人。
练习 2:模拟上线评审
任务目标:判断有条件通过和拒绝上线。输入或初始条件:准备三个问题:裸端口暴露、无恢复演练、P95 略高。实现要求:分别给出是否阻断及理由。验收条件:安全和数据恢复风险不能被口头承诺替代。
练习 3:制定观察窗口
任务目标:定义上线后的监控与回滚。输入或初始条件:已有基线、告警和回滚镜像。实现要求:设置流量比例、观察时长、阈值和责任人。验收条件:触发条件可直接执行。