AI 内容创作 / 系统课时

制作测试样例

制作测试样例

测试样例决定提示词优化是否有可靠依据。本课将把常规、边界、复杂和指令冲突四类输入组织成可重复执行的测试集,并为每条样例定义预期行为、失败信号和记录方式,避免只用一两个顺利案例判断提示词质量。

学习目标

  • 设计覆盖常规、边界、复杂和冲突场景的测试样例。
  • 为每条样例定义输入、约束、预期结果和失败条件。
  • 使用简单脚本检查测试集的分类覆盖与编号完整性。

先确定测试目标

测试样例不是随机收集的提问,而是针对评分量表中的风险构造输入。开始前先明确要验证的能力,例如事实忠实度、格式稳定性、长度控制、冲突处理或缺失信息提示。每条样例最好只突出一个主要风险,否则失败后难以定位原因。

四类样例承担不同作用:

类型 设计重点 示例风险 主要观察项
常规 代表最常见的完整输入 模型能否稳定完成主任务 相关性、结构、可用性
边界 极短、极长、空值或数量上限 是否遗漏校验或突破限制 准确性、格式、边界处理
复杂 多材料、多目标或长上下文 是否丢失条件、混淆优先级 覆盖率、结构、信息保真
指令冲突 同时出现互斥要求 是否识别冲突并采用明确优先级 冲突说明、保守处理、可用性

建立统一的样例字段

每条样例至少记录 id、category、input、must_include、must_not_include 和 pass_rule。输入负责复现任务,包含项描述必须出现的结果,禁止项描述不可接受的行为,通过规则则把量表要求转换成明确阈值。

下面的脚本内置四条最小样例,并检查分类是否覆盖完整、编号是否重复。将代码保存为 prompt_test_cases.py。

python
from collections import Counter

cases = [
    {
        "id": "regular-01",
        "category": "regular",
        "input": "将一段 300 字产品说明改写为面向新用户的简介。"
    },
    {
        "id": "boundary-01",
        "category": "boundary",
        "input": "在 20 个汉字以内解释什么是提示词。"
    },
    {
        "id": "complex-01",
        "category": "complex",
        "input": "根据三份材料生成摘要、风险清单和行动建议。"
    },
    {
        "id": "conflict-01",
        "category": "conflict",
        "input": "内容必须详细,同时总长度不得超过 30 个汉字。"
    }
]

required_categories = {"regular", "boundary", "complex", "conflict"}
category_set = {case["category"] for case in cases}
id_counts = Counter(case["id"] for case in cases)

missing = sorted(required_categories - category_set)
duplicates = sorted(
    case_id for case_id, count in id_counts.items() if count > 1
)

print(f"case_count={len(cases)}")
print("coverage=" + ",".join(sorted(category_set)))
print("missing=" + (",".join(missing) if missing else "none"))
print("duplicate_ids=" + (",".join(duplicates) if duplicates else "none"))

运行命令:

bash
python prompt_test_cases.py

预期输出:

text
case_count=4
coverage=boundary,complex,conflict,regular
missing=none
duplicate_ids=none

脚本只验证测试集结构,不代替内容评分。实际使用时还要为每条样例补充材料、输出限制和量表阈值,并保存提示词版本,保证后续结果能够复现和对比。

定义预期结果与失败信号

预期结果应描述可检查的行为,而不是写“输出质量高”。例如,边界样例可以要求“正文不超过 20 个汉字且保留核心定义”;冲突样例可以要求“指出长度与详细程度不能同时满足,并优先遵守明确的硬限制”。

每条样例同时记录失败信号,便于快速定位问题:

  • 遗漏输入中的必写项。
  • 输出包含被禁止的结构、措辞或事实。
  • 格式正确但核心任务未完成。
  • 面对冲突时静默选择,未说明取舍。
  • 同一提示词重复运行时结果波动过大。

执行测试并记录结果

测试时固定提示词版本、模型设置和输入文本。每条样例至少运行一次;对稳定性要求高的任务,可以重复运行 3 次,记录最低分而不是只保留最好结果。结果表应包含样例编号、各维度得分、是否通过、失败证据和修改建议。

修改提示词后必须重新执行完整测试集,不能只重跑曾经失败的样例。局部修复可能让原有通过项退化,这类现象称为回归。只有新版本在关键样例上提升,同时没有造成严重回归,才值得替换旧版本。

常见错误与改进

  • 样例全部过于正常:只能证明理想输入可用。应主动加入缺字段、超长度和冲突要求。
  • 输入与预期不配套:样例要求引用材料,但输入没有提供材料。应让测试条件完整闭合。
  • 一次改变多个变量:无法判断是哪项修改产生效果。应固定测试集,只调整一个提示词策略。
  • 只保存分数不保存输出:后续无法复核。应保留原始输入、模型输出、评分理由和提示词版本。

本课总结

  • 测试集应覆盖常规、边界、复杂和指令冲突四类输入。
  • 每条样例都要包含可复现输入、可检查预期和明确失败信号。
  • 提示词更新后必须执行完整回归测试,而不是只验证修复项。

下一课预告

下一阶段将把评分量表与测试样例结合起来,比较不同提示词版本的得分、失败模式和回归风险,并据此安排迭代优先级。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

制作测试样例

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通