大模型应用开发 / 系统课时
整理上线清单
整理上线清单
大模型应用上线前不能只确认“接口能调用”。本节把安全、评测、监控、成本、限流、降级、审计和回滚整理成可执行门禁,让每次发布都有明确的通过条件、验证动作和失败后的撤回路径。
学习目标
- 建立覆盖八类关键风险的上线门禁
- 用配置和预检脚本减少人工漏项
- 为小流量验证、降级和回滚定义明确触发条件
把检查项变成发布门禁
上线清单的价值不在于项目数量,而在于每一项都有可判断的结果。安全要求确认密钥和数据边界,评测要求确认质量没有明显回退,监控与审计负责上线后留下证据,成本、限流和降级负责控制异常流量,回滚则保证错误版本能够快速退出。

一份最低可用的门禁至少要回答以下问题:
| 门禁 | 最低通过条件 |
|---|---|
| 安全 | 密钥不入库、不进前端,敏感输入有处理规则 |
| 评测 | 固定基准集通过,关键场景无不可接受回退 |
| 监控 | 延迟、错误率、429、5xx 和调用量可观测 |
| 成本 | 有单请求与周期预算,并能发现异常增长 |
| 限流 | 用户、租户或应用维度存在并发与速率保护 |
| 降级 | 主模型不可用时存在可验证的备用行为 |
| 审计 | 能关联版本、模型、请求和关键操作,且日志脱敏 |
| 回滚 | 上一个稳定版本可恢复,配置和提示词可追溯 |
固定一份可审查的上线配置
不要把关键门禁只保存在聊天记录或发布人的记忆里。可以维护一份与版本一起审查的配置文件,记录哪些保护已经启用以及对应阈值。下面是一个供应商无关的片段示例,具体字段由你的发布系统读取或转换。
security:
secret_from_environment: true
log_redaction: true
evaluation:
required_suite: release-regression
minimum_pass_rate: 0.98
observability:
latency_metric: true
error_rate_metric: true
rate_limit_metric: true
cost:
daily_budget_usd: 200
alert_ratio: 0.8
rate_limit:
enabled: true
max_concurrency: 50
fallback:
enabled: true
mode: secondary-model
audit:
correlation_id: true
prompt_version: true
rollback:
previous_stable_version: required这类配置的生效行为应由发布系统或应用启动检查读取,而不是“写了文件就算完成”。验证时要确认应用实际使用了环境变量密钥、监控平台确实收到指标、限流能被触发,并且回滚目标版本真实存在。
用预检脚本挡住基础漏项
上线前可以先自动检查最容易遗漏、又能被机器确定判断的内容,例如密钥是否注入、模型和提示词版本是否固定、门禁配置文件是否存在。下面脚本任一条件不满足都会以非零状态退出,适合接入 CI/CD 的发布前步骤。
#!/usr/bin/env bash
set -euo pipefail
required_vars=(LLM_API_KEY MODEL_NAME PROMPT_VERSION RELEASE_GATES_FILE)
for name in "${required_vars[@]}"; do
if [[ -z "${!name:-}" ]]; then
echo "missing required variable: ${name}" >&2
exit 1
fi
done
if [[ ! -f "${RELEASE_GATES_FILE}" ]]; then
echo "release gates file not found: ${RELEASE_GATES_FILE}" >&2
exit 1
fi
printf 'preflight ok: model=%s prompt=%s gates=%s\n' \
"${MODEL_NAME}" "${PROMPT_VERSION}" "${RELEASE_GATES_FILE}"预期输出如下,具体模型名、提示词版本和文件路径以实际环境为准:
preflight ok: model=<VALUE> prompt=<VALUE> gates=<PATH>脚本适合检查确定性条件,但不能代替评测、压测和真实故障演练。例如“已经配置备用模型”并不等于备用模型一定能在限流或主服务故障时成功接管,因此这些项目仍需要实际验证。
小流量发布时验证关键保护
通过静态门禁后,先让少量真实流量进入候选版本。重点观察成功率、端到端延迟、模型调用错误、Token 或计费量以及业务质量信号,并与发布前基线比较。只要关键指标明显恶化,就暂停扩大流量,而不是等待全量发布后再分析。
还应主动验证一次保护路径:制造一个可控的限流或模拟主模型失败,确认应用能够返回预期的降级结果;执行一次发布系统提供的回滚流程,确认模型版本、提示词版本和应用配置能够一起恢复,而不是只回滚代码。
明确什么时候必须回滚
上线前就写清回滚条件,能避免故障发生后围绕“再观察几分钟”反复争论。典型条件包括持续错误率超过阈值、核心评测场景失效、单位请求成本异常增长、降级链路无法接管,或出现敏感数据泄露风险。
回滚目标应是已验证的稳定组合,包括应用版本、模型选择、提示词或工作流版本以及关键配置。发布完成后仍保留本次评测结果、门禁配置、变更记录和监控基线,下一次发布才能在同一标准上比较,而不是重新依赖人工记忆。