大模型应用开发 / 系统课时
从真实咨询构建黄金评测集
从真实咨询构建黄金评测集
黄金评测集不是把历史问题随便抽样后配一个答案,而是把“什么算答对”写成可执行标准。本节从真实工单、FAQ 和客服会话出发,整理问题、期望答案、必需证据、可接受引用与拒答条件,并把调参与回归评测数据彻底分开。
学习目标
- 从真实咨询中抽取有代表性且可复现的评测问题
- 为每条样本标注答案要求、证据要求、引用边界和拒答条件
- 划分调参集与独立回归集,避免评测数据被反复“做熟”
先从真实失败和高频咨询取样
数据源至少要覆盖历史工单、FAQ 搜索记录和客服会话。不要只挑表达规范的问题,因为线上用户会省略主语、混用产品名、带错别字,也会在一个问题里夹带多个意图。优先保留高频问题、业务高风险问题、过去答错过的问题,以及需要拒答或转人工的问题。
抽样时先去除纯寒暄、无业务信息的消息,再做去重和聚类。相同意图可以保留不同表达,但不要让几十条几乎一样的问题淹没长尾场景。黄金集的价值在于覆盖真实决策边界,而不是追求数量最大。

给每条样本写清判定标准
只保存 question 和 expected_answer 不够,因为 RAG 的答案可能措辞不同但依然正确。更稳妥的做法是同时标注:答案必须覆盖哪些事实、回答必须依赖哪些证据、哪些知识片段可以被引用,以及在什么条件下应该拒答或转人工。
例如“企业套餐能否退款”不能只写“可以”或“不可以”。如果规则取决于购买时间、合同类型和已使用额度,就应把这些条件拆成必需事实。这样评测器才能判断模型是否遗漏关键限制,而不是只做字符串相似度比较。
下面的 JSONL 片段示例展示一条样本的最小结构。它是数据结构示例,不要求直接执行。
{"case_id":"refund-policy-001","question":"企业套餐购买后还能退款吗?","expected_answer":"需要先确认合同类型、购买时间和已使用额度,再按对应退款条款判断;条件不足时不能直接承诺可退款。","required_facts":["合同类型","购买时间","已使用额度"],"acceptable_citation_ids":["kb-refund-2026-03"],"refusal_when":["缺少合同类型且无法从上下文确认","知识库不存在对应合同的退款规则"],"source":"historical_ticket"}其中 required_facts 用于判断答案是否完整,acceptable_citation_ids 限定证据范围,refusal_when 则定义模型什么时候应该明确拒答,而不是猜测。真实数据还应保存标注人、复核人和规则版本,便于规则更新后重新评测。
用小脚本检查标注是否缺字段
人工标注最常见的问题不是答案写错,而是漏掉证据或拒答条件。下面的脚本可以在导入评测平台前做最低限度的结构检查。
case = {
"case_id": "refund-policy-001",
"question": "企业套餐购买后还能退款吗?",
"expected_answer": "需要先确认合同类型、购买时间和已使用额度,再按对应退款条款判断。",
"required_facts": ["合同类型", "购买时间", "已使用额度"],
"acceptable_citation_ids": ["kb-refund-2026-03"],
"refusal_when": ["知识库不存在对应合同的退款规则"]
}
required = [
"case_id",
"question",
"expected_answer",
"required_facts",
"acceptable_citation_ids",
"refusal_when",
]
missing = [field for field in required if not case.get(field)]
print("valid" if not missing else f"missing: {missing}")预期输出
valid这个检查只能保证字段齐全,不能替代人工审核。特别是“必需证据”与“可接受引用”需要领域专家确认,否则评测集本身就可能把错误规则当成标准答案。
隔离调参集与回归集
调参集用于反复观察检索参数、提示词、重排模型或回答策略的变化;独立回归集则用于判断新版本是否真的提升。只要某条样本被开发者频繁查看并据此修改系统,它就已经不再是独立评测数据。
划分时应按业务意图或问题簇分组,而不是简单随机拆行。否则同一工单的近似问法可能同时出现在调参集和回归集,造成数据泄漏。对于高风险意图,还应在回归集中保留固定的拒答样本和边界条件样本,确保每次发布都能重复验证。
维护黄金集而不是一次性导出
知识库规则变化后,旧答案可能失效。因此黄金集需要版本化:记录样本对应的知识版本,规则变更时重新审核受影响样本,而不是直接覆盖旧标注。这样回归结果下降时,才能区分“系统退化”还是“标准答案已更新”。
一套可信的黄金评测集,本质上是把线上真实问题转成稳定的质量合同:问题来自真实咨询,答案有明确事实边界,证据有可追溯来源,拒答有清晰条件,而独立回归集始终保留为未被调参过程污染的最后一道检查。