大模型应用开发 / 系统课时

整理上线清单

整理上线清单

大模型应用上线前不能只确认“接口能调用”。本节把安全、评测、监控、成本、限流、降级、审计和回滚整理成可执行门禁,让每次发布都有明确的通过条件、验证动作和失败后的撤回路径。

学习目标

  • 建立覆盖八类关键风险的上线门禁
  • 用配置和预检脚本减少人工漏项
  • 为小流量验证、降级和回滚定义明确触发条件

把检查项变成发布门禁

上线清单的价值不在于项目数量,而在于每一项都有可判断的结果。安全要求确认密钥和数据边界,评测要求确认质量没有明显回退,监控与审计负责上线后留下证据,成本、限流和降级负责控制异常流量,回滚则保证错误版本能够快速退出。

大模型应用上线八类门禁

一份最低可用的门禁至少要回答以下问题:

门禁 最低通过条件
安全 密钥不入库、不进前端,敏感输入有处理规则
评测 固定基准集通过,关键场景无不可接受回退
监控 延迟、错误率、429、5xx 和调用量可观测
成本 有单请求与周期预算,并能发现异常增长
限流 用户、租户或应用维度存在并发与速率保护
降级 主模型不可用时存在可验证的备用行为
审计 能关联版本、模型、请求和关键操作,且日志脱敏
回滚 上一个稳定版本可恢复,配置和提示词可追溯

固定一份可审查的上线配置

不要把关键门禁只保存在聊天记录或发布人的记忆里。可以维护一份与版本一起审查的配置文件,记录哪些保护已经启用以及对应阈值。下面是一个供应商无关的片段示例,具体字段由你的发布系统读取或转换。

yaml
security:
  secret_from_environment: true
  log_redaction: true

evaluation:
  required_suite: release-regression
  minimum_pass_rate: 0.98

observability:
  latency_metric: true
  error_rate_metric: true
  rate_limit_metric: true

cost:
  daily_budget_usd: 200
  alert_ratio: 0.8

rate_limit:
  enabled: true
  max_concurrency: 50

fallback:
  enabled: true
  mode: secondary-model

audit:
  correlation_id: true
  prompt_version: true

rollback:
  previous_stable_version: required

这类配置的生效行为应由发布系统或应用启动检查读取,而不是“写了文件就算完成”。验证时要确认应用实际使用了环境变量密钥、监控平台确实收到指标、限流能被触发,并且回滚目标版本真实存在。

用预检脚本挡住基础漏项

上线前可以先自动检查最容易遗漏、又能被机器确定判断的内容,例如密钥是否注入、模型和提示词版本是否固定、门禁配置文件是否存在。下面脚本任一条件不满足都会以非零状态退出,适合接入 CI/CD 的发布前步骤。

bash
#!/usr/bin/env bash
set -euo pipefail

required_vars=(LLM_API_KEY MODEL_NAME PROMPT_VERSION RELEASE_GATES_FILE)

for name in "${required_vars[@]}"; do
  if [[ -z "${!name:-}" ]]; then
    echo "missing required variable: ${name}" >&2
    exit 1
  fi
done

if [[ ! -f "${RELEASE_GATES_FILE}" ]]; then
  echo "release gates file not found: ${RELEASE_GATES_FILE}" >&2
  exit 1
fi

printf 'preflight ok: model=%s prompt=%s gates=%s\n' \
  "${MODEL_NAME}" "${PROMPT_VERSION}" "${RELEASE_GATES_FILE}"

预期输出如下,具体模型名、提示词版本和文件路径以实际环境为准:

text
preflight ok: model=<VALUE> prompt=<VALUE> gates=<PATH>

脚本适合检查确定性条件,但不能代替评测、压测和真实故障演练。例如“已经配置备用模型”并不等于备用模型一定能在限流或主服务故障时成功接管,因此这些项目仍需要实际验证。

小流量发布时验证关键保护

通过静态门禁后,先让少量真实流量进入候选版本。重点观察成功率、端到端延迟、模型调用错误、Token 或计费量以及业务质量信号,并与发布前基线比较。只要关键指标明显恶化,就暂停扩大流量,而不是等待全量发布后再分析。

还应主动验证一次保护路径:制造一个可控的限流或模拟主模型失败,确认应用能够返回预期的降级结果;执行一次发布系统提供的回滚流程,确认模型版本、提示词版本和应用配置能够一起恢复,而不是只回滚代码。

明确什么时候必须回滚

上线前就写清回滚条件,能避免故障发生后围绕“再观察几分钟”反复争论。典型条件包括持续错误率超过阈值、核心评测场景失效、单位请求成本异常增长、降级链路无法接管,或出现敏感数据泄露风险。

回滚目标应是已验证的稳定组合,包括应用版本、模型选择、提示词或工作流版本以及关键配置。发布完成后仍保留本次评测结果、门禁配置、变更记录和监控基线,下一次发布才能在同一标准上比较,而不是重新依赖人工记忆。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

整理上线清单

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通