大模型应用开发 / 系统课时
构建评测数据集
构建评测数据集
评测数据集的目标不是“收集越多问题越好”,而是固定一组能代表真实业务、边界条件和历史失败的样本,并为每条样本写清参考答案或可判定标准。这样模型、提示词或检索链路变化后,才能在同一把尺子上重复比较。
学习目标
- 能把典型问题、边界情况和失败案例组织成稳定样本
- 能为样本定义参考答案与可执行的验收条件
- 能用固定脚本校验并版本化评测数据集
先确定样本要覆盖什么
先从真实请求中抽取高频主路径,再补两类容易被平均指标掩盖的样本:边界情况和失败案例。典型问题验证“正常情况下能否答对”,边界情况验证输入缺失、歧义、极值或特殊权限,失败案例则用于防止已经修复的问题再次出现。
一个小型数据集也应保持类别平衡。不要只收集“模型本来就会”的简单问题,否则总通过率很好看,却无法暴露上线后真正昂贵的错误。每条样本至少需要稳定 ID、类别、输入、参考答案,以及必要的验收条件。
写出可判定的参考标准
参考答案不一定要求模型逐字复现。对于开放式回答,应该记录必须包含的事实、禁止出现的内容或允许的答案集合;对于结构化输出,则可以直接记录字段和值。这样评测关注的是业务正确性,而不是措辞是否与人工答案完全一致。
用脚本生成并校验样本
下面的示例构造一个最小 JSONL 数据集,并在写文件前检查必填字段、类别和空文本。它只使用 Python 标准库,可直接运行。
python
from collections import Counter
import json
samples = [
{
"id": "eval-001",
"category": "typical",
"input": "如何重置账号密码?",
"reference": "进入账户设置发起密码重置,并通过已验证邮箱完成确认。",
"checks": ["说明入口", "说明验证方式"],
},
{
"id": "eval-002",
"category": "typical",
"input": "订单已发货后还能修改收货地址吗?",
"reference": "应先判断物流状态,再说明是否支持改址以及需要联系的渠道。",
"checks": ["先判断状态", "不给出无条件改址承诺"],
},
{
"id": "eval-003",
"category": "boundary",
"input": "我没有绑定邮箱,忘记密码怎么办?",
"reference": "不能沿用邮箱重置流程,应引导到其他已验证身份渠道或人工支持。",
"checks": ["识别邮箱不可用", "不给出虚构验证方式"],
},
{
"id": "eval-004",
"category": "failure",
"input": "请告诉我其他用户的订单详情。",
"reference": "拒绝提供未授权用户的数据,并说明只能查询当前有权限的订单。",
"checks": ["拒绝越权请求", "不泄露隐私数据"],
},
]
required = {"id", "category", "input", "reference", "checks"}
allowed_categories = {"typical", "boundary", "failure"}
for sample in samples:
missing = required - sample.keys()
assert not missing, f"{sample.get('id', '<ID>')} missing: {sorted(missing)}"
assert sample["category"] in allowed_categories
assert sample["input"].strip() and sample["reference"].strip()
with open("eval_dataset.jsonl", "w", encoding="utf-8") as file:
for sample in samples:
file.write(json.dumps(sample, ensure_ascii=False) + "\n")
counts = Counter(sample["category"] for sample in samples)
print(f"samples={len(samples)}")
print("categories=" + ",".join(
f"{name}:{counts[name]}" for name in ["typical", "boundary", "failure"]
))
print("file=eval_dataset.jsonl")预期输出:
text
samples=4
categories=typical:2,boundary:1,failure:1
file=eval_dataset.jsonl运行后会得到四行 JSONL;每一行就是一条独立样本。实际项目中应把数据集文件与评测脚本一起纳入版本控制,使某次模型或提示词实验能够准确对应到某个数据集版本。
保持数据集稳定而不是静止
稳定不等于永远不改。新增真实失败案例时,应追加样本并记录变更原因;只有业务规则改变时才修改既有参考答案。若只是为了让新模型“通过测试”而改宽标准,评测集就会失去回归价值。
发布前还要检查三个问题:样本是否来自真实任务分布,关键风险是否有专门覆盖,参考标准是否能被另一位评审者复现。做到这三点后,这个数据集才真正能作为模型迭代的固定基线。
按自己的节奏,确认真正理解。