AI 内容创作 / 系统课时
制作测试样例
制作测试样例
测试样例决定提示词优化是否有可靠依据。本课将把常规、边界、复杂和指令冲突四类输入组织成可重复执行的测试集,并为每条样例定义预期行为、失败信号和记录方式,避免只用一两个顺利案例判断提示词质量。
学习目标
- 设计覆盖常规、边界、复杂和冲突场景的测试样例。
- 为每条样例定义输入、约束、预期结果和失败条件。
- 使用简单脚本检查测试集的分类覆盖与编号完整性。
先确定测试目标
测试样例不是随机收集的提问,而是针对评分量表中的风险构造输入。开始前先明确要验证的能力,例如事实忠实度、格式稳定性、长度控制、冲突处理或缺失信息提示。每条样例最好只突出一个主要风险,否则失败后难以定位原因。
四类样例承担不同作用:
| 类型 | 设计重点 | 示例风险 | 主要观察项 |
|---|---|---|---|
| 常规 | 代表最常见的完整输入 | 模型能否稳定完成主任务 | 相关性、结构、可用性 |
| 边界 | 极短、极长、空值或数量上限 | 是否遗漏校验或突破限制 | 准确性、格式、边界处理 |
| 复杂 | 多材料、多目标或长上下文 | 是否丢失条件、混淆优先级 | 覆盖率、结构、信息保真 |
| 指令冲突 | 同时出现互斥要求 | 是否识别冲突并采用明确优先级 | 冲突说明、保守处理、可用性 |
建立统一的样例字段
每条样例至少记录 id、category、input、must_include、must_not_include 和 pass_rule。输入负责复现任务,包含项描述必须出现的结果,禁止项描述不可接受的行为,通过规则则把量表要求转换成明确阈值。
下面的脚本内置四条最小样例,并检查分类是否覆盖完整、编号是否重复。将代码保存为 prompt_test_cases.py。
from collections import Counter
cases = [
{
"id": "regular-01",
"category": "regular",
"input": "将一段 300 字产品说明改写为面向新用户的简介。"
},
{
"id": "boundary-01",
"category": "boundary",
"input": "在 20 个汉字以内解释什么是提示词。"
},
{
"id": "complex-01",
"category": "complex",
"input": "根据三份材料生成摘要、风险清单和行动建议。"
},
{
"id": "conflict-01",
"category": "conflict",
"input": "内容必须详细,同时总长度不得超过 30 个汉字。"
}
]
required_categories = {"regular", "boundary", "complex", "conflict"}
category_set = {case["category"] for case in cases}
id_counts = Counter(case["id"] for case in cases)
missing = sorted(required_categories - category_set)
duplicates = sorted(
case_id for case_id, count in id_counts.items() if count > 1
)
print(f"case_count={len(cases)}")
print("coverage=" + ",".join(sorted(category_set)))
print("missing=" + (",".join(missing) if missing else "none"))
print("duplicate_ids=" + (",".join(duplicates) if duplicates else "none"))运行命令:
python prompt_test_cases.py预期输出:
case_count=4
coverage=boundary,complex,conflict,regular
missing=none
duplicate_ids=none脚本只验证测试集结构,不代替内容评分。实际使用时还要为每条样例补充材料、输出限制和量表阈值,并保存提示词版本,保证后续结果能够复现和对比。
定义预期结果与失败信号
预期结果应描述可检查的行为,而不是写“输出质量高”。例如,边界样例可以要求“正文不超过 20 个汉字且保留核心定义”;冲突样例可以要求“指出长度与详细程度不能同时满足,并优先遵守明确的硬限制”。
每条样例同时记录失败信号,便于快速定位问题:
- 遗漏输入中的必写项。
- 输出包含被禁止的结构、措辞或事实。
- 格式正确但核心任务未完成。
- 面对冲突时静默选择,未说明取舍。
- 同一提示词重复运行时结果波动过大。
执行测试并记录结果
测试时固定提示词版本、模型设置和输入文本。每条样例至少运行一次;对稳定性要求高的任务,可以重复运行 3 次,记录最低分而不是只保留最好结果。结果表应包含样例编号、各维度得分、是否通过、失败证据和修改建议。
修改提示词后必须重新执行完整测试集,不能只重跑曾经失败的样例。局部修复可能让原有通过项退化,这类现象称为回归。只有新版本在关键样例上提升,同时没有造成严重回归,才值得替换旧版本。
常见错误与改进
- 样例全部过于正常:只能证明理想输入可用。应主动加入缺字段、超长度和冲突要求。
- 输入与预期不配套:样例要求引用材料,但输入没有提供材料。应让测试条件完整闭合。
- 一次改变多个变量:无法判断是哪项修改产生效果。应固定测试集,只调整一个提示词策略。
- 只保存分数不保存输出:后续无法复核。应保留原始输入、模型输出、评分理由和提示词版本。
本课总结
- 测试集应覆盖常规、边界、复杂和指令冲突四类输入。
- 每条样例都要包含可复现输入、可检查预期和明确失败信号。
- 提示词更新后必须执行完整回归测试,而不是只验证修复项。
下一课预告
下一阶段将把评分量表与测试样例结合起来,比较不同提示词版本的得分、失败模式和回归风险,并据此安排迭代优先级。