大模型应用开发 / 系统课时

检查忠实度与答案相关性

检查忠实度与答案相关性

智能客服的评测不能只看“像不像正确答案”。这一节把忠实度、答案相关性、引用正确率和拒答准确率拆开测量,再用规则、模型评审和人工抽样组成分层证据链,最后为高风险业务设置更严格的放行门槛。

学习目标

  • 区分忠实度、答案相关性、引用正确率和拒答准确率各自回答的问题
  • 设计“规则检查 → 模型评审 → 人工复核”的分层评测流程
  • 为普通业务与高风险业务设置不同阈值,并识别不能被平均分掩盖的严重错误

先把四类错误分开

忠实度检查“答案中的事实是否能被检索证据支持”。即使答案语气自然、与问题高度相关,只要凭空补充了证据中不存在的事实,就属于忠实度失败。对 RAG 系统,判断时应把回答拆成可核查陈述,再逐条与引用片段对照。

答案相关性检查“回答是否真正解决用户问题”。它关注跑题、答非所问、遗漏关键条件和冗余展开。忠实度高不代表相关性高:模型完全可以忠实地复述一段无关文档。

引用正确率检查“引用是否指向支持当前结论的证据”。常见错误包括引用了错误片段、引用覆盖范围不足,或答案正确但引用链接指错文档。拒答准确率则检查系统是否在“应拒答”时拒答、在“可回答”时正常回答,避免一味追求安全导致过度拒答。

指标 核心问题 常见失败
忠实度 事实是否有证据支持 编造价格、政策、日期
答案相关性 是否解决了用户问题 跑题、漏答限定条件
引用正确率 引用是否支持对应结论 引错文档、引用范围不足
拒答准确率 该答时答、该拒时拒 误答高风险问题、过度拒答

建立分层评审链路

适合自动化的规则应先执行,例如引用 ID 是否存在、必须字段是否缺失、答案为空但状态却不是拒答。规则成本低、稳定且容易解释,但它无法可靠判断复杂语义中的事实支持关系。

第二层使用模型评审,并把任务拆成固定评分项。评审提示词中应同时提供用户问题、检索证据、最终答案和引用映射,要求评审器分别给出忠实度与相关性结论,而不是只输出一个笼统总分。评审模型也会犯错,因此高风险样本、低置信样本和边界分数需要进入人工抽样。

智能客服质量评审分层流程

用可重复脚本计算门禁结果

下面用一个最小评测脚本演示如何按风险等级聚合四项指标。示例中的每一条布尔值可以来自规则检查、模型评审或人工标注;真正上线时,应把这些原始判断与样本 ID 一起保存,便于追溯。

python
from collections import defaultdict

cases = [
    {"risk": "high", "faithful": 1, "relevant": 1, "citation": 1, "refusal": 1},
    {"risk": "high", "faithful": 0, "relevant": 1, "citation": 0, "refusal": 1},
    {"risk": "normal", "faithful": 1, "relevant": 1, "citation": 1, "refusal": 1},
    {"risk": "normal", "faithful": 1, "relevant": 0, "citation": 1, "refusal": 1},
]

weights = {"faithful": 0.35, "relevant": 0.25, "citation": 0.25, "refusal": 0.15}
thresholds = {"high": 0.95, "normal": 0.80}

groups = defaultdict(list)
for case in cases:
    groups[case["risk"]].append(case)

for risk, rows in groups.items():
    metrics = {
        name: sum(row[name] for row in rows) / len(rows)
        for name in weights
    }
    score = sum(metrics[name] * weight for name, weight in weights.items())
    status = "PASS" if score >= thresholds[risk] else "FAIL"
    print(
        risk,
        f"score={score:.2f}",
        f"faithful={metrics['faithful']:.2f}",
        f"relevant={metrics['relevant']:.2f}",
        f"citation={metrics['citation']:.2f}",
        f"refusal={metrics['refusal']:.2f}",
        status,
    )

预期输出

text
high score=0.70 faithful=0.50 relevant=1.00 citation=0.50 refusal=1.00 FAIL
normal score=0.88 faithful=1.00 relevant=0.50 citation=1.00 refusal=1.00 PASS

这个例子还揭示了一个重要边界:加权总分只能用于汇总,不能替代硬性安全规则。例如金融、医疗、合规或账户权限类回答,只要出现“无证据的关键事实”或“本应拒答却直接作答”,就应直接判失败,而不是允许其他指标把平均分拉回阈值以上。

让抽样能发现自动评审盲区

人工复核不应只随机抽样。更有效的做法是把样本分成高风险、低模型置信、规则与模型结论冲突、刚好贴近阈值四类,再分别抽样。这样既能估算整体质量,也能更快发现评审器自身的系统性偏差。

当人工复核与模型评审长期不一致时,不要立即调高阈值,而应先检查评分准则、证据输入是否完整、引用映射是否正确,以及评审模型是否把“知识正确”误当成“证据支持”。评测的目标不是制造一个漂亮分数,而是建立一条可解释、可复查、能阻止高风险错误上线的质量证据链。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

检查忠实度与答案相关性

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通