大模型应用开发 / 系统课时
管理提示词模板
管理提示词模板
提示词一旦进入多人协作和线上发布,就不能再靠复制粘贴维护。本节把固定指令、动态变量、版本与灰度策略拆开管理,并用一个可运行示例演示如何稳定渲染、记录版本和快速回滚。
学习目标
- 区分模板中的固定指令、动态变量与发布元数据
- 为提示词建立不可变版本,并让每次调用都能追溯到具体版本
- 用确定性的流量分桶完成灰度发布,并知道如何回滚
把模板和运行数据分开
模板应该保存“长期稳定、需要评审”的内容,例如角色、任务边界、输出格式和安全约束;订单号、用户问题、检索结果等运行时数据则通过变量注入。这样修改业务数据不会产生新模板版本,修改指令时又能清楚看到差异。
变量名要有稳定语义,例如 {question}、{context},不要把整段提示词拆成十几个难以追踪的小变量。对关键变量还要在渲染前做存在性校验,缺失时直接失败,而不是让模型猜测。
为模板建立版本边界
线上模板建议使用“模板标识 + 不可变版本”的方式管理,例如 order-support:v1、order-support:v2。发布后不原地修改旧版本;需要调整时创建新版本,并记录作者、变更原因、测试结果和发布时间。

版本号本身不必表达复杂语义,关键是同一个版本内容不可变化。否则日志里的 v2 今天和明天代表不同提示词,历史问题就无法复现。
用确定性分桶做灰度发布
下面的 Python 示例用两个模板版本模拟 20% 灰度。为了让示例结果稳定,直接把 bucket 作为 0~99 的整数传入;生产环境通常会根据用户 ID 或会话 ID 做稳定哈希,再映射到同样的桶区间。
TEMPLATES = {
"v1": (
"你是订单客服助手。\n"
"只回答订单状态问题。\n"
"用户问题:{question}"
),
"v2": (
"你是订单客服助手。\n"
"只回答订单状态问题;信息不足时明确说明缺少什么。\n"
"用户问题:{question}"
),
}
def select_version(bucket: int, rollout_percent: int = 20) -> str:
if not 0 <= bucket < 100:
raise ValueError("bucket 必须在 0~99 之间")
return "v2" if bucket < rollout_percent else "v1"
def render_prompt(version: str, variables: dict[str, str]) -> str:
# 版本内容保持不可变;运行时只负责注入动态变量。
return TEMPLATES[version].format_map(variables)
for bucket in (17, 42):
version = select_version(bucket)
prompt = render_prompt(version, {"question": "我的订单到哪了?"})
print(f"bucket={bucket} version={version}")
print(prompt.replace("\n", " | "))预期输出
bucket=17 version=v2
你是订单客服助手。 | 只回答订单状态问题;信息不足时明确说明缺少什么。 | 用户问题:我的订单到哪了?
bucket=42 version=v1
你是订单客服助手。 | 只回答订单状态问题。 | 用户问题:我的订单到哪了?实际系统中的用户 ID、请求 ID 和桶值会不同,但同一个稳定分桶键应持续命中同一版本,避免同一用户在实验期间反复切换体验。
让发布可验证、可回滚
灰度发布前至少准备一组固定测试用例,覆盖正常输入、缺失信息、边界输入和高风险输出。发布后同时观察业务成功率、格式合规率、拒答率、人工转接率和模型成本;只看“平均回答看起来不错”很难发现小流量退化。
每次模型调用都应记录模板标识、模板版本、分桶值和模型参数。发现新版本异常时,先把灰度比例降为 0,使请求全部回到稳定版,再分析问题;不要直接修改已经发布的 v2 内容,因为那会破坏可追溯性。
模板管理的核心不是“把字符串放到数据库”,而是让指令内容、运行变量和发布过程各自有清晰边界。只要版本不可变、路由可复现、调用可追溯,提示词就能像普通线上配置一样被评审、灰度和回滚。