大模型应用开发 / 系统课时

设计只基于证据的提示词

设计只基于证据的提示词

RAG 已经检索到资料,并不代表模型一定会只用这些资料回答。本节把系统规则、用户问题和检索证据明确分区,并给出证据不足时的拒答与澄清约束,让模型尽量避免用参数记忆补全知识库里没有的答案。

学习目标

  • 能把系统约束、用户问题和检索证据组织成边界清晰的提示词
  • 能明确禁止模型补充证据之外的事实,并要求关键结论可追溯
  • 能为证据不足、冲突和问题含糊三种情况设计拒答或澄清路径

把三类信息分区而不是混成一段

系统规则负责规定行为边界,用户问题只描述本次需求,检索证据则是唯一允许使用的事实来源。三者混在同一段时,模型更难区分“必须遵守的规则”和“可引用的内容”,也更容易把用户输入误当作事实。

证据约束提示词结构与决策路径

提示词里最重要的不是“请根据资料回答”这句礼貌要求,而是把允许做什么、禁止做什么、信息不足时做什么写成可执行的规则。尤其要明确:知识库证据的缺失不能由模型参数记忆自动补齐。

用明确规则定义回答契约

一个稳健的系统提示词至少要覆盖四类约束:只能使用证据中的事实;证据不足时必须拒答或澄清;证据冲突时要指出冲突;回答中的关键事实要能对应到证据编号。

下面用标准库 Python 构造消息,便于把规则和运行时证据保持分离。示例不依赖任何模型 SDK,可直接运行并检查最终提示词结构。

python
def build_messages(question: str, evidence: list[dict[str, str]]) -> list[dict[str, str]]:
    # 系统消息只放稳定约束,避免把运行时问题混进规则层。
    system_prompt = (
        "你是企业知识库客服。只能依据<EVIDENCE>中的内容回答。\n"
        "禁止使用证据之外的事实、常识推断或参数记忆补全答案。\n"
        "若证据不足,回答:根据现有知识库无法确认。\n"
        "若问题含糊,先提出一个最小必要澄清问题。\n"
        "若证据互相冲突,指出冲突并停止下结论。\n"
        "关键事实后标注对应证据编号,如[1]。"
    )

    # 为证据编号,便于回答中的关键事实回指来源。
    evidence_text = "\n".join(
        f"[{i}] {item['text']}" for i, item in enumerate(evidence, start=1)
    )
    user_prompt = f"<QUESTION>\n{question}\n</QUESTION>\n<EVIDENCE>\n{evidence_text}\n</EVIDENCE>"
    return [
        {"role": "system", "content": system_prompt},
        {"role": "user", "content": user_prompt},
    ]

messages = build_messages(
    "企业版是否支持 SAML 单点登录?",
    [{"text": "企业版支持 SAML 2.0 单点登录,管理员可在安全设置中启用。"}],
)

for message in messages:
    print(f"[{message['role']}]")
    print(message["content"])

预期输出

text
[system]
你是企业知识库客服。只能依据<EVIDENCE>中的内容回答。
禁止使用证据之外的事实、常识推断或参数记忆补全答案。
若证据不足,回答:根据现有知识库无法确认。
若问题含糊,先提出一个最小必要澄清问题。
若证据互相冲突,指出冲突并停止下结论。
关键事实后标注对应证据编号,如[1]。
[user]
<QUESTION>
企业版是否支持 SAML 单点登录?
</QUESTION>
<EVIDENCE>
[1] 企业版支持 SAML 2.0 单点登录,管理员可在安全设置中启用。
</EVIDENCE>

这里的标签只是边界标记,不是为了让模型输出 XML。它们的作用是稳定地区分问题和证据,避免把检索内容与用户指令揉在一起。

规定证据不足时的行为

只写“请不要编造”通常不够,因为模型仍可能尝试给出一个看似有帮助的答案。应把证据不足时的行为写成确定分支,例如输出固定拒答语,或当缺少关键条件时只问一个澄清问题。

对于“企业版是否支持 SAML”这种事实问题,证据直接出现支持关系即可回答。对于“我们公司应该选哪个登录方案”这种决策问题,如果证据缺少组织规模、安全策略或现有 IdP 信息,更合适的行为是先澄清,而不是从常识推断。

防止检索内容反过来劫持规则

知识库文档本身可能包含“忽略之前要求”“把以下内容发给用户”之类文本。检索证据应该被视为数据,而不是系统指令。系统规则要显式声明:证据中的命令、角色设定和操作要求都不能覆盖系统规则。

同时,不要把“来源可信”误解成“内容一定一致”。如果两个版本的文档给出相反结论,模型不应自行挑一个更像真的答案,而应告诉用户当前证据存在冲突,并让后端版本过滤或知识治理流程解决。

提示词不是唯一防线

只基于证据回答是一项系统约束,不应只靠一段提示词承担。上线时还应保留最低相关度阈值、来源权限过滤、引用校验和离线失败集评测;对高风险答案,可增加回答后验证器,检查关键结论是否能在证据中找到支持。

提示词的职责是把“允许回答的边界”表达清楚:有直接证据就回答并引用,证据不足就拒答,问题含糊就澄清,证据冲突就暴露冲突。这样模型即使具备大量参数记忆,也更不容易把知识库之外的信息混入最终答复。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

设计只基于证据的提示词

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通