大模型应用开发 / 系统课时

发布提示词版本

发布提示词版本

提示词和 Agent 流程的修改会直接改变线上行为,像修改普通文本一样覆盖旧内容,很难灰度验证,也无法快速恢复。本节把提示词视为可版本化制品,通过稳定版本、灰度流量和版本指针完成可观察、可回滚的发布。

学习目标

  • 为提示词及相关流程建立不可变版本标识
  • 用稳定分流策略让部分请求进入新版本
  • 根据质量、延迟、错误和成本指标决定扩大流量或回滚

把提示词当作可发布制品

一个可发布版本不应只保存提示词正文。至少还要能确定版本号、模型与关键参数;如果行为依赖工具、检索或流程编排,还应记录对应的工具 Schema、检索配置或流程版本,使一次线上响应能够被追溯和复现。

已经发布的 prompt-v17 不应原地修改。需要变更时创建 prompt-v18,然后改变流量指向。这样历史请求仍能准确回答“当时运行的是哪个版本”。

先灰度再扩大流量

灰度发布的关键不是随机抽取请求,而是让同一用户或会话在观察期内尽量稳定落到同一版本。否则一个用户连续两次请求可能分别进入旧版和新版,既影响体验,也会污染效果对比。

提示词版本灰度发布与回滚流程

下面的可运行示例用用户编号末尾数字模拟稳定分桶。真实系统应使用稳定哈希,使同一个分流键长期得到相同桶位。

python
STABLE_VERSION = 'prompt-v17'
CANARY_VERSION = 'prompt-v18'
ROLLOUT_PERCENT = 20


def choose_version(user_id, rollout_percent):
    # 示例使用数字后缀便于观察;生产环境应替换为稳定哈希分桶。
    bucket = int(user_id.split('-')[-1]) % 100
    return CANARY_VERSION if bucket < rollout_percent else STABLE_VERSION


def main():
    users = ['u-7', 'u-18', 'u-42', 'u-91']

    print('gray release:')
    for user_id in users:
        print(f'{user_id} -> {choose_version(user_id, ROLLOUT_PERCENT)}')

    # 回滚不修改旧提示词,只把灰度比例降为 0。
    print('rollback:')
    for user_id in users:
        print(f'{user_id} -> {choose_version(user_id, 0)}')


if __name__ == '__main__':
    main()

预期输出

text
gray release:
u-7 -> prompt-v18
u-18 -> prompt-v18
u-42 -> prompt-v17
u-91 -> prompt-v17
rollback:
u-7 -> prompt-v17
u-18 -> prompt-v17
u-42 -> prompt-v17
u-91 -> prompt-v17

示例中的回滚只改变路由,不删除 prompt-v18,因此异常请求仍可以根据版本号继续调查。生产环境还应把分流结果写入调用日志或 Trace 属性,避免只能看到响应,却不知道它来自哪个提示词版本。

用指标决定扩大还是回滚

新版本通常从很小比例开始,观察窗口内同时比较效果和工程指标。质量指标可来自人工抽检、离线评分或业务成功率;工程侧至少关注错误率、端到端延迟和 Token 消耗。只看“模型回答更好”而忽略超时或成本,仍可能得到不可接受的发布结果。

扩大流量应按门禁逐级进行,例如从小流量到较大流量,再到全量。任何关键指标突破预设阈值,都应停止扩量;如果问题明显来自新版本,则直接把流量指针切回上一个稳定版本,而不是在线编辑新版本试图紧急修补。

保留完整发布记录

一次可审计的发布至少要留下版本创建时间、变更说明、发布人或自动化任务、灰度比例、观察指标和最终决策。出现投诉或质量回退时,可以从请求记录中的版本号追到具体制品,再还原当时使用的模型与流程配置。

回滚能力的核心是旧版本始终可用,路由可以快速切换。只要避免覆盖历史版本,并把灰度结果纳入监控,提示词修改就能从一次不可控的文本替换,变成和应用代码类似的可验证发布过程。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

发布提示词版本

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通