大模型应用开发 / 系统课时

灰度发布新索引与提示词

灰度发布新索引与提示词

新索引、检索参数和提示词会同时影响答案质量、延迟与成本,直接全量切换很难判断退化来自哪里。本节把这些可变项绑定成可追踪的发布版本,再用稳定分流做灰度,对比关键指标,并在异常时快速回滚到旧版本。

学习目标

  • 能把知识索引、检索参数与提示词绑定成一个可审计的发布单元。
  • 能用稳定哈希让同一会话持续落在对照组或灰度组,避免实验串组。
  • 能依据质量、延迟、拒答率和成本设置扩量门槛,并保留可回滚路径。

把三个可变项绑定成一个版本

灰度发布最容易失败的地方,是只记录“提示词 v17”,却没有同时记录它使用的索引和检索参数。这样一旦答案变差,日志无法回答究竟是文档版本、top_k、阈值还是提示词导致的。

可以给每次发布建立不可变 manifest。下面是一个最小配置示例,<ID> 表示由发布系统生成的实际版本标识。

yaml
release_id: release-<ID>
index_version: index-<ID>
retrieval:
  top_k: 8
  score_threshold: 0.72
prompt_version: prompt-<ID>
traffic:
  canary_percent: 10

这份配置生效后,每条请求日志都应回写 release_id、index_version、prompt_version 与实际检索参数。验证方法是随机抽取灰度组和对照组请求,确认日志中的版本组合与路由结果一致。旧索引在灰度结束前不要删除,否则发生质量退化时无法秒级回切。

新索引与提示词的灰度发布流程

用稳定哈希做会话级分流

灰度不能对每个请求随机抛硬币,否则同一个用户在连续追问中可能先命中新索引、下一轮又切回旧提示词,既破坏对话一致性,也让指标难以解释。更稳妥的做法是对稳定的会话标识做哈希,并把哈希桶映射到固定实验组。

下面的 Python 示例把 20% 的桶分给灰度组。同一 session_id 每次计算结果都相同;生产环境只需要把百分比和版本路由放到配置中心。

python
import hashlib

CANARY_PERCENT = 20

def route(session_id: str) -> str:
    digest = hashlib.sha256(session_id.encode()).hexdigest()
    bucket = int(digest[:8], 16) % 100
    return 'canary' if bucket < CANARY_PERCENT else 'control'

for session_id in ['sess-001', 'sess-002', 'sess-003', 'sess-004', 'sess-005', 'sess-006']:
    print(f'{session_id}: {route(session_id)}')

预期输出

text
sess-001: canary
sess-002: control
sess-003: control
sess-004: canary
sess-005: control
sess-006: control

若业务存在租户隔离,还可以把租户 ID 纳入分流键,避免同一企业用户跨版本;但不要把姓名、手机号等敏感字段直接写入实验键或日志。

用指标闸门决定是否扩量

灰度比较至少要覆盖四类指标,而且必须同时看总体与关键业务切片。质量可以使用人工抽检、引用命中率、事实一致性或离线评测集;延迟建议看 p95、p99;拒答率要区分“正确拒答”和“错误拒答”;成本则按每个成功解决会话的模型 Token、检索和工具调用成本统计。

指标 示例扩量门槛 退化时先查什么
回答质量 不低于对照组,或达到预设提升目标 新索引缺文档、切分变化、提示词约束过强
p95 延迟 不超过对照组约 10% 的预算增幅 top_k、重排、Prompt 长度、模型输出长度
错误拒答率 不高于对照组预设容差 检索阈值、拒答规则、系统提示词
单成功会话成本 不超过预算上限 Token 增长、重复检索、额外工具调用

这里的 10% 只是示例门槛,不是通用标准。真实阈值应来自现有 SLO、业务风险和成本预算。若灰度组质量提升但延迟恶化,需要先确认提升是否值得这部分性能成本,而不是只看一个指标宣布成功。

扩量与回滚都要可重复

推荐按“内部账号或测试租户 → 少量真实会话 → 更大流量 → 全量”的顺序推进,每次扩量后都重新经过同一组指标闸门。扩量期间不要顺手修改索引、参数或提示词,否则会把一次可解释实验变成多个变量同时变化。

发现退化时,先冻结扩量,再把灰度路由切回对照版本;保留新旧版本的请求样本、Trace 和评测结果用于复盘。索引回滚应通过别名或版本路由切换完成,而不是现场重建旧索引;提示词与检索参数则从旧 manifest 恢复。这样回滚动作足够短,也不会因为“旧版本已经清理”而失去退路。

全量之后仍应保留一段观察期,并继续记录版本字段。只有质量、延迟、拒答率和成本在真实流量下都稳定,且旧版本不再承担回滚职责时,才进入旧索引清理流程。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

灰度发布新索引与提示词

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通