大模型应用开发 / 系统课时

设计问答提示词

设计问答提示词

问答提示词决定模型能否只依据知识库回答、在证据不足时承认未知,并按统一格式返回引用。本课将把这些要求组织成可复用模板,并给出验证提示词是否生效的方法。

学习目标

  • 写清回答范围、未知处理和禁止编造规则
  • 设计可追踪到知识片段的引用格式
  • 用固定输出结构降低解析和验收成本

先约束模型能做什么

可靠的 RAG 提示词应先限定证据边界:只能使用当前提供的知识片段,不允许把模型记忆当作事实补充。若资料不足,模型必须明确说明缺少什么,而不是用模糊措辞猜测。

提示词还要区分“没有找到答案”和“知识片段互相冲突”。前者应返回未知,后者应指出冲突来源并避免自行选择一个结论。这样才能让调用方决定是否扩大检索、转人工或提示用户补充条件。

组织可复用模板

下面的完整 Python 示例生成一个问答提示词。知识片段使用稳定的 sourceId,输出要求为 JSON,便于后端解析答案和引用。

python
import json
from typing import Dict, List

PROMPT_TEMPLATE = """你是知识库问答助手。

【回答范围】
仅根据“知识片段”回答,不得使用片段之外的信息补全事实。

【未知与冲突处理】
1. 资料不足时,answer 必须明确说明无法确定,并指出缺少的信息。
2. 片段冲突时,列出冲突的 sourceId,不得自行猜测哪一项正确。

【引用规则】
每个事实结论都要引用对应 sourceId;quote 只摘录支持结论的最短原文。

【输出格式】
只输出合法 JSON,字段必须为 answer、citations、status。
status 只能是 answered、insufficient 或 conflict。
citations 是对象数组,每项包含 sourceId 和 quote。

【禁止事项】
禁止编造来源、数字、时间、接口字段和不存在的引用。

【知识片段】
{context}

【用户问题】
{question}
"""

def build_prompt(question: str, documents: List[Dict[str, str]]) -> str:
    context_lines = [
        f"[{doc['sourceId']}] {doc['content']}" for doc in documents
    ]
    return PROMPT_TEMPLATE.format(
        context="\n".join(context_lines),
        question=question,
    )

documents = [
    {
        "sourceId": "doc-01",
        "content": "RAG 上下文应为答案预留令牌,并设置安全余量。",
    },
    {
        "sourceId": "doc-02",
        "content": "裁剪时应优先删除低相关和重复片段。",
    },
]

prompt = build_prompt(
    "上下文超限时应该先处理什么?",
    documents,
)
print(prompt)

预期输出:

text
你是知识库问答助手。

【回答范围】
仅根据“知识片段”回答,不得使用片段之外的信息补全事实。

【未知与冲突处理】
1. 资料不足时,answer 必须明确说明无法确定,并指出缺少的信息。
2. 片段冲突时,列出冲突的 sourceId,不得自行猜测哪一项正确。

【引用规则】
每个事实结论都要引用对应 sourceId;quote 只摘录支持结论的最短原文。

【输出格式】
只输出合法 JSON,字段必须为 answer、citations、status。
status 只能是 answered、insufficient 或 conflict。
citations 是对象数组,每项包含 sourceId 和 quote。

【禁止事项】
禁止编造来源、数字、时间、接口字段和不存在的引用。

【知识片段】
[doc-01] RAG 上下文应为答案预留令牌,并设置安全余量。
[doc-02] 裁剪时应优先删除低相关和重复片段。

【用户问题】
上下文超限时应该先处理什么?

调用模型后,符合要求的响应应类似:

json
{
  "answer": "应先删除低相关和重复片段,同时保留答案令牌与安全余量。",
  "citations": [
    {
      "sourceId": "doc-02",
      "quote": "裁剪时应优先删除低相关和重复片段"
    },
    {
      "sourceId": "doc-01",
      "quote": "为答案预留令牌,并设置安全余量"
    }
  ],
  "status": "answered"
}

实际字段内容取决于知识片段,但字段名称和 status 枚举应保持稳定。后端还应校验 JSON 是否可解析、引用的 sourceId 是否存在,以及引用文本是否能在原片段中找到。

处理未知与冲突

当知识片段没有答案时,不要只写“请根据上下文回答”。应提供明确的失败契约,例如返回 status: insufficient,并在 answer 中说明缺少版本、时间、地区或业务条件。

当两个来源给出不同值时,返回 status: conflict,引用双方来源,并把冲突交给上游处理。提示词不应要求模型“选择最合理答案”,因为这会把证据冲突重新变成模型猜测。

控制输出格式

结构化输出适合接口调用,但规则必须足够具体:字段名称固定、枚举范围固定、禁止额外文本。若模型或 SDK 支持 JSON Schema,应同时在接口层启用结构化输出约束,而不是只依赖自然语言提示。

引用应绑定稳定标识,不要使用“片段一”“上文第二段”等易变化位置。知识更新或重新排序后,稳定的 sourceId 仍能帮助日志审计和答案追踪。

验证提示词是否可靠

准备三组最小测试:答案明确、资料不足、来源冲突。分别检查 status 是否正确、未知时是否停止编造、冲突时是否同时引用双方来源。

还要加入诱导问题,例如要求模型忽略资料、补充常识或虚构来源。预期结果是模型继续遵守回答范围,并且输出仍符合约定结构。提示词测试应纳入回归测试,避免模板调整后悄悄破坏引用或未知处理。

本课总结

  • 可靠提示词要同时规定证据边界、未知处理、冲突处理和禁止事项
  • 引用必须绑定稳定的来源标识,并由后端校验真实性
  • 固定输出结构能降低解析成本,但仍需通过正常、未知和冲突用例验证

下一课预告

下一课将进一步处理检索结果与模型回答之间的证据对应关系,让每个关键结论都能追溯到具体知识片段。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

设计问答提示词

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通