AI 内容创作 / 系统课时
沉淀版本记录
沉淀版本记录
提示词优化只有被记录,才能判断改动是否真正有效。单独保存“最新版本”会丢失测试条件和决策依据。本课将建立一套最小版本记录,让每次修改都能复现、比较、评分,并说明为什么保留或撤销。
学习目标
- 设计包含提示词、测试输入、评分和修改原因的版本记录
- 固定测试条件,避免把输入变化误判为提示词改进
- 根据输出差异形成可追踪的保留、调整或回退决策
为什么版本记录必须保留
提示词结果受输入材料、模型设置、上下文和评分标准共同影响。只比较两个输出,很难确定差异来自提示词修改,还是来自测试条件变化。版本记录的价值不是保存文字,而是保存一次可复现的实验单元。
一个合格记录应回答四个问题:改了什么、用什么输入测试、输出发生了什么变化、为什么接受这次变化。只要其中一项缺失,后续复盘就可能依赖记忆和主观印象。
一条记录必须包含什么
最小记录不需要复杂系统,但字段必须覆盖版本身份、测试条件、观察结果和决策依据。
| 字段 | 记录内容 | 作用 |
|---|---|---|
version |
唯一版本号 | 区分每次修改,支持回退 |
prompt |
本次完整提示词 | 保证测试可复现 |
testCase |
固定测试输入标识 | 避免混淆不同材料 |
change |
相对上一版的改动 | 快速定位变量 |
outputSummary |
关键输出差异 | 聚焦变化而非全文复制 |
scores |
统一维度下的评分 | 支持横向比较 |
reason |
修改原因与预期 | 说明假设 |
decision |
保留、调整或回退 | 固化结论 |
版本号只负责标识,不负责表达全部含义。改动内容和决策原因应放在独立字段中,避免使用“最终版”“最新版”这类会很快失效的名称。
建立最小版本卡
下面是一条可直接保存的 JSON 版本记录。它是数据结构示例,不是可执行程序;保存后可用任意标准 JSON 解析器检查语法,并通过字段完整性检查验证记录是否合格。
{
"version": "v1.2",
"testCase": "product-intro-01",
"prompt": "面向企业采购负责人,写一段 180~220 字的产品介绍,包含两项可验证能力和一个行动建议。",
"change": "将“写得专业”替换为受众、篇幅、结构和证据要求。",
"outputSummary": "信息顺序更稳定,删除了无法验证的夸张承诺。",
"scores": {
"accuracy": 5,
"completeness": 4,
"clarity": 5,
"compliance": 5
},
"reason": "降低抽象风格词带来的随机解释。",
"decision": "保留"
}验证时至少检查:version 是否唯一,testCase 是否能够定位固定输入,scores 是否使用统一量表,decision 是否能由差异与评分共同解释。字段齐全但无法说明决策理由的记录,仍然不能支持可靠迭代。
固定测试输入与评分口径
比较版本时应尽量只改变一个主要变量。测试输入、目标读者、输出格式和评分维度保持一致,才能把结果差异归因于提示词改动。若必须同时调整多个条件,应在记录中明确标注,避免得出过度确定的结论。
评分维度应少而稳定。写作提示词通常可以选择准确性、完整性、清晰度、风格匹配和合规性,并统一使用 1~5 分。每个分值还要配套判断标准,例如“完整性 5 分”表示所有必写项都出现且位置正确,而不是笼统地表示“内容很好”。
同一版本最好使用一组代表性测试输入,而不是只看一个成功样例。测试集可以覆盖正常输入、信息缺失输入和容易触发边界问题的输入,从而观察提示词是否稳定。
比较差异并写修改原因
版本差异记录应聚焦可观察变化,例如结构是否更稳定、事实是否遗漏、语气是否偏离、输出长度是否波动。不要只写“效果更好”,因为这种结论无法指导下一次修改。
每次修改可以采用“假设—改动—观察—决策”的写法:
- 假设:抽象风格词导致输出不稳定。
- 改动:把风格词转换为句式、称谓和证据规则。
- 观察:三组测试中的结构一致性提高,但篇幅有所增加。
- 决策:保留改动,并在下一版收紧字数范围。
如果评分提高但关键硬约束失败,应优先处理硬约束。平均分不能掩盖事实错误、字段缺失或合规风险。
形成可回退的迭代闭环

版本记录应始终保留一个可确认的稳定基线。新版本只有在固定测试集上通过关键约束,并且修改原因与结果一致时,才替代基线。出现退化时直接回退,而不是继续在不稳定版本上叠加修改。
常见错误
- 只保存提示词,不保存测试输入。 后续无法复现结果,也无法判断差异来源。
- 每次同时修改多个核心规则。 即使结果改善,也难以确认哪项改动有效,应拆成更小版本。
- 评分标准随版本变化。 不同版本分数失去可比性,应先固定维度和分值定义。
- 只记录成功版本。 失败版本能够说明哪些路径无效,删除它们会导致重复试错。
- 用平均分替代硬约束检查。 事实错误或合规失败即使只出现一次,也应单独记录并阻止版本晋级。
本课练习
- 为一个“生成产品介绍”的提示词设计
v1.0和v1.1两条记录。固定同一测试输入,只修改一项规则,并记录四个评分维度、输出差异和最终决策。验收条件是能够明确说明结果变化来自哪一项改动。 - 建立包含三个测试用例的最小测试集:正常材料、缺少关键事实的材料、包含高风险宣传词的材料。为每个用例定义通过条件,并说明某一版本在什么情况下必须回退,不直接给出完整记录答案。
本课总结
- 版本记录保存的是可复现的测试单元,而不只是提示词文本。
- 固定输入、评分口径和主要变量,才能把输出差异归因于具体改动。
- 每次迭代都应留下修改原因、观察结果和保留或回退决策。
下一课预告
下一阶段可以把版本记录扩展为批量测试与回归评估流程,用统一测试集持续检查提示词在新材料和边界场景中的稳定性。