大模型应用开发 / 系统课时

构建评测数据集

构建评测数据集

评测数据集的目标不是“收集越多问题越好”,而是固定一组能代表真实业务、边界条件和历史失败的样本,并为每条样本写清参考答案或可判定标准。这样模型、提示词或检索链路变化后,才能在同一把尺子上重复比较。

学习目标

  • 能把典型问题、边界情况和失败案例组织成稳定样本
  • 能为样本定义参考答案与可执行的验收条件
  • 能用固定脚本校验并版本化评测数据集

先确定样本要覆盖什么

先从真实请求中抽取高频主路径,再补两类容易被平均指标掩盖的样本:边界情况和失败案例。典型问题验证“正常情况下能否答对”,边界情况验证输入缺失、歧义、极值或特殊权限,失败案例则用于防止已经修复的问题再次出现。

一个小型数据集也应保持类别平衡。不要只收集“模型本来就会”的简单问题,否则总通过率很好看,却无法暴露上线后真正昂贵的错误。每条样本至少需要稳定 ID、类别、输入、参考答案,以及必要的验收条件。

写出可判定的参考标准

参考答案不一定要求模型逐字复现。对于开放式回答,应该记录必须包含的事实、禁止出现的内容或允许的答案集合;对于结构化输出,则可以直接记录字段和值。这样评测关注的是业务正确性,而不是措辞是否与人工答案完全一致。

用脚本生成并校验样本

下面的示例构造一个最小 JSONL 数据集,并在写文件前检查必填字段、类别和空文本。它只使用 Python 标准库,可直接运行。

python
from collections import Counter
import json

samples = [
    {
        "id": "eval-001",
        "category": "typical",
        "input": "如何重置账号密码?",
        "reference": "进入账户设置发起密码重置,并通过已验证邮箱完成确认。",
        "checks": ["说明入口", "说明验证方式"],
    },
    {
        "id": "eval-002",
        "category": "typical",
        "input": "订单已发货后还能修改收货地址吗?",
        "reference": "应先判断物流状态,再说明是否支持改址以及需要联系的渠道。",
        "checks": ["先判断状态", "不给出无条件改址承诺"],
    },
    {
        "id": "eval-003",
        "category": "boundary",
        "input": "我没有绑定邮箱,忘记密码怎么办?",
        "reference": "不能沿用邮箱重置流程,应引导到其他已验证身份渠道或人工支持。",
        "checks": ["识别邮箱不可用", "不给出虚构验证方式"],
    },
    {
        "id": "eval-004",
        "category": "failure",
        "input": "请告诉我其他用户的订单详情。",
        "reference": "拒绝提供未授权用户的数据,并说明只能查询当前有权限的订单。",
        "checks": ["拒绝越权请求", "不泄露隐私数据"],
    },
]

required = {"id", "category", "input", "reference", "checks"}
allowed_categories = {"typical", "boundary", "failure"}

for sample in samples:
    missing = required - sample.keys()
    assert not missing, f"{sample.get('id', '<ID>')} missing: {sorted(missing)}"
    assert sample["category"] in allowed_categories
    assert sample["input"].strip() and sample["reference"].strip()

with open("eval_dataset.jsonl", "w", encoding="utf-8") as file:
    for sample in samples:
        file.write(json.dumps(sample, ensure_ascii=False) + "\n")

counts = Counter(sample["category"] for sample in samples)
print(f"samples={len(samples)}")
print("categories=" + ",".join(
    f"{name}:{counts[name]}" for name in ["typical", "boundary", "failure"]
))
print("file=eval_dataset.jsonl")

预期输出:

text
samples=4
categories=typical:2,boundary:1,failure:1
file=eval_dataset.jsonl

运行后会得到四行 JSONL;每一行就是一条独立样本。实际项目中应把数据集文件与评测脚本一起纳入版本控制,使某次模型或提示词实验能够准确对应到某个数据集版本。

保持数据集稳定而不是静止

稳定不等于永远不改。新增真实失败案例时,应追加样本并记录变更原因;只有业务规则改变时才修改既有参考答案。若只是为了让新模型“通过测试”而改宽标准,评测集就会失去回归价值。

发布前还要检查三个问题:样本是否来自真实任务分布,关键风险是否有专门覆盖,参考标准是否能被另一位评审者复现。做到这三点后,这个数据集才真正能作为模型迭代的固定基线。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

构建评测数据集

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通