大模型应用开发 / 系统课时
处理证据不足
处理证据不足
本节解决 RAG 系统在知识库无法提供可靠答案时的问题,通过检索得分、证据数量和提示约束判断回答边界,让系统能够明确说明未知信息,而不是生成没有依据的内容。
学习目标
- 理解 RAG 中证据不足的判断条件
- 掌握拒答和降级回答的处理流程
- 实现基于检索结果的安全回答控制
识别证据不足场景
RAG 并不保证每次检索都能找到正确答案。当知识库缺少相关内容、检索结果相似度过低,或者多个文档互相矛盾时,继续生成完整答案可能产生幻觉。常见判断指标包括:
- 检索最高得分低于阈值
- 有效证据数量不足
- 多个来源存在明显冲突
- 用户问题超出知识库范围
这些指标通常组合使用,而不是依赖单一分数。
建立拒答判断流程
系统可以在生成前增加证据评估步骤,根据检索结果决定进入回答流程还是返回无法确认的信息。

一个简单的评估逻辑示例:
python
def should_answer(scores, min_score=0.75, min_sources=2):
if len(scores) < min_sources:
return False
return max(scores) >= min_score
scores = [0.82, 0.78]
print(should_answer(scores))预期输出
text
True当返回 False 时,系统应该进入拒答或补充信息流程。
设计安全拒答策略
拒答不是简单返回“无法回答”,而是应该告诉用户缺少什么信息。例如:当前知识库没有找到对应资料,可以提供更多上下文或指定文档范围。提示词中需要明确限制模型:
text
如果提供的资料不足以支持答案,请明确说明无法确认,不要根据常识补充未知事实。预期结果
text
模型在证据不足时返回说明性回答,而不是编造结论。处理证据冲突
多个文档可能包含不同版本的信息。例如配置参数、业务规则或产品说明发生变化时,检索结果可能同时返回旧文档和新文档。
处理冲突时可以增加文档权重,例如优先选择更新时间更近、来源等级更高的内容,并在答案中展示多个引用来源。
验证证据控制效果
测试 RAG 系统时,不应只验证“能否回答”,还需要验证“不能回答时是否正确拒答”。可以设计以下测试:
- 输入知识库不存在的问题
- 输入存在多个冲突答案的问题
- 输入只有弱相关文档的问题
按自己的节奏,确认真正理解。