大模型应用开发 / 系统课时
生成引用答案
生成引用答案
知识库问答的答案不仅要“看起来正确”,还要让读者知道结论来自哪份文档、哪个片段。本节建立来源编号、约束模型只依据检索内容作答,并在返回后校验引用是否真实存在。
学习目标
- 为检索片段建立稳定、可核验的来源标识
- 用提示词约束模型拒绝脱离证据的回答
- 校验答案中的引用编号,阻止伪造来源进入前端
先把来源变成可引用证据
不要把若干段文本直接拼接后交给模型。每个片段至少应保留 source_id、文档标题、位置和正文,生成答案时引用 source_id,前端再用它映射到真实文档与位置。这样即使标题重复,引用关系也不会混淆。

约束模型只根据检索内容回答
关键不是简单写一句“请给引用”,而是明确证据边界、无证据时的行为和引用格式。下面是可放入模型调用层的提示词片段;它依赖你的检索结果填充 {context},因此属于片段示例。
你是知识库问答助手。只能依据“检索证据”回答,不得补充证据之外的事实。
规则:
1. 每个事实性结论后附来源编号,例如 [S1] 或 [S1][S2]。
2. 只能引用检索证据中出现的 source_id。
3. 如果证据不足,明确回答“根据现有资料无法确定”,不要猜测。
4. 不要把来源编号写成文档标题,也不要创建新的编号。
检索证据:
{context}
用户问题:
{question}生效行为是:模型的事实性结论必须绑定已有 source_id,证据不足时返回拒答语句。验证时应同时检查答案内容和引用编号,而不是只确认模型“生成了方括号”。
在返回后校验引用
生成模型仍可能输出不存在的编号,因此服务端需要做一次机械校验。下面的脚本把模型结果视为结构化数据,检查每个引用是否属于本次检索证据,并把编号映射为可展示的文档位置。
from dataclasses import dataclass
@dataclass(frozen=True)
class Source:
source_id: str
title: str
location: str
def validate_and_resolve(answer: dict, sources: list[Source]) -> list[str]:
source_map = {source.source_id: source for source in sources}
citations = answer.get("citations", [])
unknown = [source_id for source_id in citations if source_id not in source_map]
if unknown:
raise ValueError(f"unknown citation: {', '.join(unknown)}")
# 只把本次检索实际存在的来源暴露给前端。
return [
f"[{source_id}] {source_map[source_id].title} - {source_map[source_id].location}"
for source_id in citations
]
def main() -> None:
sources = [
Source("S1", "RAG 运维手册", "第 3 章 / 重排"),
Source("S2", "问答质量规范", "第 2 节 / 引用"),
]
answer = {
"text": "重排应在召回后执行,并只保留更相关的候选。[S1] 引用编号必须能映射回真实来源。[S2]",
"citations": ["S1", "S2"],
}
print(answer["text"])
for item in validate_and_resolve(answer, sources):
print(item)
if __name__ == "__main__":
main()预期输出
重排应在召回后执行,并只保留更相关的候选。[S1] 引用编号必须能映射回真实来源。[S2]
[S1] RAG 运维手册 - 第 3 章 / 重排
[S2] 问答质量规范 - 第 2 节 / 引用如果把 citations 改成不存在的 S9,校验器会抛出错误,而不是让前端显示一个无法核验的引用。生产系统还可以继续检查“答案正文里出现的编号”和 citations 数组是否一致。
引用位置要精确到可回查
来源位置应使用知识库本身稳定的信息,例如页码、章节路径、段落锚点或字符区间。只返回“来自某某文档”通常不够,因为读者仍要全文搜索才能验证。切片入库时就保存位置元数据,比生成答案后再猜位置可靠得多。
处理证据不足和多来源冲突
没有足够证据时,应让模型明确拒答,而不是用参数知识补齐空白;这是“仅依据检索内容”的核心约束。如果两个来源互相冲突,可以同时引用并说明差异,但不要擅自选择一个作为事实。
最终验收应关注三件事:每个事实结论是否有证据、每个引用编号是否能回到真实片段、点击来源后能否定位到支持该结论的位置。三者都成立,引用答案才真正可核验。