大模型应用开发 / 系统课时

评估答案相关性

评估答案相关性

相关性评估关注的不是“答案有没有正确事实”,而是“它是否真正回答了用户当前的问题”。通过拆解用户意图、检查答案覆盖范围和无关信息比例,可以识别答非所问、只回答一半以及内容过度扩展等问题。

学习目标

  • 把用户问题拆成可检查的意图点
  • 同时衡量意图覆盖和无关内容比例
  • 用回归样本发现“正确但偏题”的答案

从用户意图而不是关键词出发

只看关键词重合很容易误判。用户问“如何降低 RAG 首答延迟,同时尽量不降低召回”,真正需要覆盖的通常是三个意图点:降低首答延迟、保持召回质量、给出可执行的权衡方法。如果答案只解释“什么是向量检索”,即使内容完全正确,相关性仍然很低。

评估时可以先把问题转换成少量、可核对的意图点,再检查答案中的各个句子分别服务于哪个意图。没有对应意图、也不是理解答案所必需的内容,应标记为无关或冗余。

用户意图与答案覆盖关系

同时看覆盖率和无关比例

相关性至少要从两个方向观察。意图覆盖率衡量用户真正关心的点回答了多少;无关比例衡量答案里有多少内容没有服务当前问题。只看其中一个都会漏掉问题。

例如,一个答案覆盖了全部三个意图,却额外加入大量部署历史、数据库备份和团队流程,覆盖率可能是 100%,但阅读体验仍然很差。反过来,一个极短答案没有废话,却只回答了一个意图点,也不能算高相关。

用评分脚本汇总句级标注

下面的示例把“意图是否覆盖”和“答案句子是否相关”分开统计。句级标签可以由人工产生,也可以由固定评审提示词生成。

python
intent_points = {"降低首答延迟", "保持召回质量", "给出可执行措施"}
covered_intents = {"降低首答延迟", "给出可执行措施"}

sentence_labels = [
    "RELEVANT",
    "RELEVANT",
    "IRRELEVANT",
    "RELEVANT",
]

# 覆盖率看用户意图有没有被回答,无关比例看答案是否跑题。
coverage = len(covered_intents) / len(intent_points)
irrelevant = sum(label == "IRRELEVANT" for label in sentence_labels)
irrelevant_ratio = irrelevant / len(sentence_labels)

missing = sorted(intent_points - covered_intents)

print(f"intent_coverage={coverage:.2f}")
print(f"irrelevant_ratio={irrelevant_ratio:.2f}")
print(f"missing_intents={missing}")

预期输出

text
intent_coverage=0.67
irrelevant_ratio=0.25
missing_intents=['保持召回质量']

不要急着把这两个指标强行合并成一个总分。分别观察更容易判断该缩短答案,还是补充遗漏内容;如果业务确实需要单一排序分数,再根据真实用户反馈确定权重。

识别常见的偏题模式

遗漏关键意图最常见于复合问题,例如用户同时要求“原因、修复和验证”,答案只讲原因。范围膨胀则常见于模型把相关背景全部展开,导致核心建议被淹没。还有一种情况是答案围绕检索片段展开,却没有回到用户问题本身,这说明“内容相关于资料”不等于“内容相关于用户意图”。

用固定回归集持续检查

为高频问题保存“用户问题、预期意图点、模型答案、句级相关标签”四类信息。版本更新后,用同一批问题重新生成答案并统计覆盖率与无关比例,再抽查低分样本。这样可以区分检索器变差、提示词跑偏,还是生成模型开始过度展开。

当覆盖率下降时,优先检查问题理解和检索结果是否覆盖了关键意图;当无关比例上升时,优先收紧回答范围、输出结构和长度约束。相关性评估的目标不是让答案越短越好,而是让每一段都服务于用户当前的问题。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

评估答案相关性

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通