大模型应用开发 / 系统课时

完成生产部署检查

完成生产部署检查

学习目标

完成本课后,你将能够:

  • 使用分层清单检查 Ollama 与知识助手的生产准备度
  • 定义安全、容量、可用性、数据和观测的验收证据
  • 识别必须阻止上线的高风险问题
  • 形成上线、回滚和责任人明确的最终评审记录

生产检查的原则

生产检查不是确认“页面能打开”,而是证明系统在目标流量、目标数据和故障条件下可控。每个检查项必须有:

  • 明确结果:通过、失败或有条件通过
  • 可验证证据:命令输出、截图、日志、报告或配置
  • 责任人
  • 失败处理
  • 截止时间
  • 是否阻止上线

没有证据的“已确认”不应视为通过。

架构与访问边界

  • ☐ Ollama 端口未直接暴露到公网。
  • ☐ 外部流量只经过受控代理或网关。
  • ☐ 管理入口和业务入口已分离。
  • ☐ 内部网络和防火墙只开放必要端口。
  • ☐ DNS、证书和代理路径与设计一致。
  • ☐ 后端只连接预期 Ollama 地址。
  • ☐ 开发、测试和生产环境隔离。
  • ☐ 容器或服务以最小权限用户运行。

阻止上线:公网可匿名访问裸 Ollama API、未知端口暴露、测试环境数据与生产混用。

身份认证与授权

  • ☐ 所有业务接口需要认证。
  • ☐ 凭证不写入镜像、代码或日志。
  • ☐ Secret 有轮换和吊销机制。
  • ☐ 文档来源按用户或组织过滤。
  • ☐ 管理操作使用更高权限。
  • ☐ 登录失败、越权和敏感操作有审计。
  • ☐ 服务间凭证具有最小权限。
  • ☐ Basic Auth 仅用于符合风险等级的小型内网场景。

阻止上线:匿名用户可读取受限资料、所有用户共享不可审计凭证、权限过滤只依赖前端。

数据安全与隐私

  • ☐ 明确哪些提示词、回答和文档允许记录。
  • ☐ 日志默认不保存完整敏感正文。
  • ☐ 原始文档、索引和备份已加密或受权限保护。
  • ☐ 上传大小、类型和内容经过校验。
  • ☐ 数据保留与删除流程已定义。
  • ☐ 第三方插件、工具和遥测的数据路径已审查。
  • ☐ 备份有异地或独立故障域副本。
  • ☐ 恢复演练已通过。

阻止上线:敏感数据通过日志外泄、备份无权限保护、无法删除已撤销文档。

模型与索引版本

  • ☐ 生成模型名称、标签和摘要已记录。
  • ☐ 嵌入模型与索引元数据一致。
  • ☐ 更换嵌入模型会触发重建或拒绝加载。
  • ☐ Modelfile 和提示词版本可追踪。
  • ☐ 固定测试集通过。
  • ☐ 结构化输出、工具调用和拒答符合要求。
  • ☐ 模型许可证适用于当前用途。
  • ☐ 量化版本经过业务质量验证。

阻止上线:索引和嵌入模型不匹配、模型来源或许可证不明、固定测试集出现关键错误。

容量与性能

  • ☐ 已使用真实输入和输出长度压测。
  • ☐ 推荐并发和队列上限已配置。
  • ☐ P95 首字与总耗时满足目标。
  • ☐ 峰值内存和显存保留安全余量。
  • ☐ 长上下文与并发组合通过。
  • ☐ 过载会受控返回,不会无限排队。
  • ☐ 客户端取消能释放下游资源。
  • ☐ 磁盘空间有增长预测和告警。
  • ☐ 持续运行测试没有明显泄漏或降频。

阻止上线:目标负载下发生 OOM、持续 Swap、超时率不可接受或队列无上限。

可用性与故障恢复

  • ☐ 服务和容器有合理重启策略。
  • ☐ 健康检查覆盖代理、后端和 Ollama。
  • ☐ 模型冷启动时间已纳入恢复目标。
  • ☐ 单节点故障的业务影响已接受或有冗余。
  • ☐ 上游超时、重试和熔断边界明确。
  • ☐ 升级和回滚步骤已演练。
  • ☐ 配置和数据均可恢复。
  • ☐ 故障联系人与升级路径明确。
  • ☐ 维护窗口和变更冻结规则已定义。

阻止上线:没有可执行回滚、健康检查只看进程、关键数据无法恢复。

日志、指标与告警

  • ☐ 请求有 request_id 或 trace_id。
  • ☐ 记录状态码、模型、Token、首字和总耗时。
  • ☐ 收集 CPU、内存、GPU、显存和磁盘。
  • ☐ 监控模型加载、卸载和队列。
  • ☐ 关键错误有分类。
  • ☐ 日志有保留期和轮转。
  • ☐ 告警包含阈值、持续时间和处理手册。
  • ☐ 监控系统自身有可用性保障。
  • ☐ 版本变更能在图表中标记。

阻止上线:关键故障无日志、磁盘写满无告警、无法区分代理与模型服务错误。

依赖与供应链

  • ☐ Ollama、基础镜像和应用依赖固定版本。
  • ☐ 镜像来自可信仓库。
  • ☐ 构建过程可重复。
  • ☐ 依赖漏洞扫描已完成。
  • ☐ 不需要的端口、包和工具已移除。
  • ☐ 容器不使用特权模式。
  • ☐ 文件挂载为只读或最小写权限。
  • ☐ 主机驱动与 Ollama 兼容性已记录。
  • ☐ 升级来源和发布说明可追踪。

阻止上线:使用来源不明镜像、长期凭证写进镜像、容器无必要却使用特权模式。

最终验收命令

服务状态:

bash
docker compose ps

预期结果:

text
所有必需服务处于 running 或 healthy,未出现持续重启。

入口健康:

bash
curl --fail --silent --show-error   --user '<USERNAME>:<PASSWORD>'   https://<DOMAIN>/health

预期 HTTP 结果:

text
状态码 200,后端和 Ollama 状态正常。

确认没有裸端口:

bash
ss -lntp | grep -E ':443|:8000|:11434'

预期结果:

text
443 按设计监听;8000 和 11434 不应在公网地址直接监听。具体本地或容器监听取决于架构。

模型与索引:

bash
docker compose exec ollama ollama list
docker compose exec api python -c   "import json; print(len(json.load(open('/data/index.json'))['chunks']))"

预期结果:

text
显示预期模型列表和大于 0 的索引块数量。

这些命令是验收的一部分,不能代替权限、容量、恢复和质量测试。

上线决策表

项目 结果 证据 风险 责任人 是否阻止上线
访问边界 通过/失败 配置与端口结果 风险说明 姓名 是/否
认证授权 通过/失败 测试记录 风险说明 姓名 是/否
数据与备份 通过/失败 恢复报告 风险说明 姓名 是/否
模型质量 通过/失败 评测报告 风险说明 姓名 是/否
容量性能 通过/失败 压测报告 风险说明 姓名 是/否
观测告警 通过/失败 看板与演练 风险说明 姓名 是/否
回滚恢复 通过/失败 演练记录 风险说明 姓名 是/否

只有所有阻断项关闭,才能批准上线。有条件通过项必须有明确期限和补偿措施。

上线后的观察窗口

上线后立即进入观察窗口:

  • 小比例流量验证
  • 对比升级前基线
  • 观察首字、总耗时和错误率
  • 观察 GPU、显存、内存和队列
  • 抽样核对回答与引用
  • 检查认证失败和异常访问
  • 检查日志与磁盘增长
  • 确认备份任务按计划执行

超过预设阈值时按变更计划降级或回滚,不应在生产现场持续试错。

本课练习

练习 1:执行上线检查

任务目标:对当前项目逐项验收。输入或初始条件:已完成知识助手部署。实现要求:填写全部清单并附证据。验收条件:所有阻断项有明确结论和责任人。

练习 2:模拟上线评审

任务目标:判断有条件通过和拒绝上线。输入或初始条件:准备三个问题:裸端口暴露、无恢复演练、P95 略高。实现要求:分别给出是否阻断及理由。验收条件:安全和数据恢复风险不能被口头承诺替代。

练习 3:制定观察窗口

任务目标:定义上线后的监控与回滚。输入或初始条件:已有基线、告警和回滚镜像。实现要求:设置流量比例、观察时长、阈值和责任人。验收条件:触发条件可直接执行。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

完成生产部署检查

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通