大模型应用开发 / 系统课时
设计问答提示词
设计问答提示词
问答提示词决定模型能否只依据知识库回答、在证据不足时承认未知,并按统一格式返回引用。本课将把这些要求组织成可复用模板,并给出验证提示词是否生效的方法。
学习目标
- 写清回答范围、未知处理和禁止编造规则
- 设计可追踪到知识片段的引用格式
- 用固定输出结构降低解析和验收成本
先约束模型能做什么
可靠的 RAG 提示词应先限定证据边界:只能使用当前提供的知识片段,不允许把模型记忆当作事实补充。若资料不足,模型必须明确说明缺少什么,而不是用模糊措辞猜测。
提示词还要区分“没有找到答案”和“知识片段互相冲突”。前者应返回未知,后者应指出冲突来源并避免自行选择一个结论。这样才能让调用方决定是否扩大检索、转人工或提示用户补充条件。
组织可复用模板
下面的完整 Python 示例生成一个问答提示词。知识片段使用稳定的 sourceId,输出要求为 JSON,便于后端解析答案和引用。
import json
from typing import Dict, List
PROMPT_TEMPLATE = """你是知识库问答助手。
【回答范围】
仅根据“知识片段”回答,不得使用片段之外的信息补全事实。
【未知与冲突处理】
1. 资料不足时,answer 必须明确说明无法确定,并指出缺少的信息。
2. 片段冲突时,列出冲突的 sourceId,不得自行猜测哪一项正确。
【引用规则】
每个事实结论都要引用对应 sourceId;quote 只摘录支持结论的最短原文。
【输出格式】
只输出合法 JSON,字段必须为 answer、citations、status。
status 只能是 answered、insufficient 或 conflict。
citations 是对象数组,每项包含 sourceId 和 quote。
【禁止事项】
禁止编造来源、数字、时间、接口字段和不存在的引用。
【知识片段】
{context}
【用户问题】
{question}
"""
def build_prompt(question: str, documents: List[Dict[str, str]]) -> str:
context_lines = [
f"[{doc['sourceId']}] {doc['content']}" for doc in documents
]
return PROMPT_TEMPLATE.format(
context="\n".join(context_lines),
question=question,
)
documents = [
{
"sourceId": "doc-01",
"content": "RAG 上下文应为答案预留令牌,并设置安全余量。",
},
{
"sourceId": "doc-02",
"content": "裁剪时应优先删除低相关和重复片段。",
},
]
prompt = build_prompt(
"上下文超限时应该先处理什么?",
documents,
)
print(prompt)预期输出:
你是知识库问答助手。
【回答范围】
仅根据“知识片段”回答,不得使用片段之外的信息补全事实。
【未知与冲突处理】
1. 资料不足时,answer 必须明确说明无法确定,并指出缺少的信息。
2. 片段冲突时,列出冲突的 sourceId,不得自行猜测哪一项正确。
【引用规则】
每个事实结论都要引用对应 sourceId;quote 只摘录支持结论的最短原文。
【输出格式】
只输出合法 JSON,字段必须为 answer、citations、status。
status 只能是 answered、insufficient 或 conflict。
citations 是对象数组,每项包含 sourceId 和 quote。
【禁止事项】
禁止编造来源、数字、时间、接口字段和不存在的引用。
【知识片段】
[doc-01] RAG 上下文应为答案预留令牌,并设置安全余量。
[doc-02] 裁剪时应优先删除低相关和重复片段。
【用户问题】
上下文超限时应该先处理什么?调用模型后,符合要求的响应应类似:
{
"answer": "应先删除低相关和重复片段,同时保留答案令牌与安全余量。",
"citations": [
{
"sourceId": "doc-02",
"quote": "裁剪时应优先删除低相关和重复片段"
},
{
"sourceId": "doc-01",
"quote": "为答案预留令牌,并设置安全余量"
}
],
"status": "answered"
}实际字段内容取决于知识片段,但字段名称和 status 枚举应保持稳定。后端还应校验 JSON 是否可解析、引用的 sourceId 是否存在,以及引用文本是否能在原片段中找到。
处理未知与冲突
当知识片段没有答案时,不要只写“请根据上下文回答”。应提供明确的失败契约,例如返回 status: insufficient,并在 answer 中说明缺少版本、时间、地区或业务条件。
当两个来源给出不同值时,返回 status: conflict,引用双方来源,并把冲突交给上游处理。提示词不应要求模型“选择最合理答案”,因为这会把证据冲突重新变成模型猜测。
控制输出格式
结构化输出适合接口调用,但规则必须足够具体:字段名称固定、枚举范围固定、禁止额外文本。若模型或 SDK 支持 JSON Schema,应同时在接口层启用结构化输出约束,而不是只依赖自然语言提示。
引用应绑定稳定标识,不要使用“片段一”“上文第二段”等易变化位置。知识更新或重新排序后,稳定的 sourceId 仍能帮助日志审计和答案追踪。
验证提示词是否可靠
准备三组最小测试:答案明确、资料不足、来源冲突。分别检查 status 是否正确、未知时是否停止编造、冲突时是否同时引用双方来源。
还要加入诱导问题,例如要求模型忽略资料、补充常识或虚构来源。预期结果是模型继续遵守回答范围,并且输出仍符合约定结构。提示词测试应纳入回归测试,避免模板调整后悄悄破坏引用或未知处理。
本课总结
- 可靠提示词要同时规定证据边界、未知处理、冲突处理和禁止事项
- 引用必须绑定稳定的来源标识,并由后端校验真实性
- 固定输出结构能降低解析成本,但仍需通过正常、未知和冲突用例验证
下一课预告
下一课将进一步处理检索结果与模型回答之间的证据对应关系,让每个关键结论都能追溯到具体知识片段。