大模型应用开发 / 系统课时

排查答案出现幻觉

排查答案出现幻觉

RAG 的答案出现幻觉时,先确认模型有没有拿到足够、正确且可引用的证据,再检查上下文是否被截断,随后收紧提示词约束,最后才调整温度等生成参数。这个顺序能区分“没有证据”与“有证据但模型没按证据回答”。

学习目标

  • 判断幻觉来自召回证据不足,还是生成阶段没有遵守证据边界。
  • 检查上下文截断、提示词约束和模型参数对回答可靠性的影响。
  • 建立“无证据就拒答”的可验证生成策略。

先确认答案所需证据真的被召回

不要只看最终答案,先保存模型实际收到的上下文。逐条检查其中是否包含回答所需的事实、限定条件、版本信息和来源。如果关键事实根本没有被召回,生成模型只能猜测,最优先动作应是修复检索,而不是改提示词。

还要区分“相关”与“足够”。片段可能主题相关,却缺少具体数字、条件或例外条款。对于事实型问答,至少要能从上下文中直接指出支持答案的句子;如果做不到,就把该样本标记为证据不足。

检查上下文是否在拼接时丢失

召回结果正确,不代表模型最终看到了全部内容。检查拼接后的上下文顺序、总长度和截断位置,尤其是长文档、多轮对话或同时塞入大量候选片段时。重要证据如果被截在窗口之外,表面上会像“模型无视证据”。

RAG 幻觉排查链路

收紧提示词中的证据边界

提示词必须明确模型能做什么、不能做什么,以及证据不足时如何响应。仅写“请根据资料回答”通常约束太弱;应要求只使用给定证据、不能补充未出现的事实,并在证据不足时返回固定的拒答语义。

下面是一个可直接用于生成阶段的提示词片段。它不是完整应用代码,但可以作为 system prompt 的核心约束;context 与 question 由你的 RAG 管道注入。

text
你只能依据“证据”中的内容回答问题。
不要补充证据中没有出现的事实、数字、版本或因果关系。
如果证据不足以回答,明确回复:证据不足,无法从当前知识库确认。
回答中的关键结论必须能在证据中找到直接依据。

证据:
{context}

问题:
{question}

验证方法是准备一条“知识库中故意不存在答案”的问题。如果模型仍给出确定性事实,说明拒答约束没有生效,或调用层还有其他提示词覆盖了该规则。

最后调整生成参数

在证据和提示词都正确后,再看模型参数。较高的 temperature 会增加措辞和内容选择的随机性,对严格事实问答通常没有必要;可以先从低温度开始,再根据表达需求逐步放宽。top_p、最大输出长度等参数也要与任务一致,避免为了“更丰富”而鼓励模型扩写超出证据。

以下独立脚本演示一个最小的生成门禁:只有证据状态通过时才允许进入模型调用。真实项目中可把 evidence_ok 替换为召回分数、规则校验或评测器结果。

python
def route_answer(evidence_ok: bool) -> str:
    if not evidence_ok:
        return "证据不足,无法从当前知识库确认。"
    return "调用生成模型,并要求仅依据证据回答。"

print(route_answer(False))

预期输出

text
证据不足,无法从当前知识库确认。

这类门禁不能替代检索评测,但能阻止“明知没有证据还继续生成”的明显幻觉路径。

用对照样本验证是否真的修好

至少准备三类问题:证据充分的问题、证据部分缺失的问题、知识库完全没有答案的问题。修复后,第一类应正确回答并保持事实一致;后两类应明确暴露不确定性,而不是补全一个听起来合理的答案。

如果召回证据正确、上下文没有截断、提示词已要求仅依据证据回答,但模型仍频繁引入外部事实,再考虑更换模型、增加引用校验或在输出后做事实一致性检查。排查的核心不是让答案“更像真的”,而是让每个结论都能追溯到实际证据。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

排查答案出现幻觉

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通