大模型应用开发 / 系统课时

处理证据不足

处理证据不足

本节解决 RAG 系统在知识库无法提供可靠答案时的问题,通过检索得分、证据数量和提示约束判断回答边界,让系统能够明确说明未知信息,而不是生成没有依据的内容。

学习目标

  • 理解 RAG 中证据不足的判断条件
  • 掌握拒答和降级回答的处理流程
  • 实现基于检索结果的安全回答控制

识别证据不足场景

RAG 并不保证每次检索都能找到正确答案。当知识库缺少相关内容、检索结果相似度过低,或者多个文档互相矛盾时,继续生成完整答案可能产生幻觉。常见判断指标包括:

  • 检索最高得分低于阈值
  • 有效证据数量不足
  • 多个来源存在明显冲突
  • 用户问题超出知识库范围

这些指标通常组合使用,而不是依赖单一分数。

建立拒答判断流程

系统可以在生成前增加证据评估步骤,根据检索结果决定进入回答流程还是返回无法确认的信息。

RAG证据评估与拒答决策流程图

一个简单的评估逻辑示例:

python
def should_answer(scores, min_score=0.75, min_sources=2):
    if len(scores) < min_sources:
        return False
    return max(scores) >= min_score

scores = [0.82, 0.78]
print(should_answer(scores))

预期输出

text
True

当返回 False 时,系统应该进入拒答或补充信息流程。

设计安全拒答策略

拒答不是简单返回“无法回答”,而是应该告诉用户缺少什么信息。例如:当前知识库没有找到对应资料,可以提供更多上下文或指定文档范围。提示词中需要明确限制模型:

text
如果提供的资料不足以支持答案,请明确说明无法确认,不要根据常识补充未知事实。

预期结果

text
模型在证据不足时返回说明性回答,而不是编造结论。

处理证据冲突

多个文档可能包含不同版本的信息。例如配置参数、业务规则或产品说明发生变化时,检索结果可能同时返回旧文档和新文档。

处理冲突时可以增加文档权重,例如优先选择更新时间更近、来源等级更高的内容,并在答案中展示多个引用来源。

验证证据控制效果

测试 RAG 系统时,不应只验证“能否回答”,还需要验证“不能回答时是否正确拒答”。可以设计以下测试:

  • 输入知识库不存在的问题
  • 输入存在多个冲突答案的问题
  • 输入只有弱相关文档的问题
按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

处理证据不足

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通