大模型应用开发 / 系统课时

生成引用答案

生成引用答案

知识库问答的答案不仅要“看起来正确”,还要让读者知道结论来自哪份文档、哪个片段。本节建立来源编号、约束模型只依据检索内容作答,并在返回后校验引用是否真实存在。

学习目标

  • 为检索片段建立稳定、可核验的来源标识
  • 用提示词约束模型拒绝脱离证据的回答
  • 校验答案中的引用编号,阻止伪造来源进入前端

先把来源变成可引用证据

不要把若干段文本直接拼接后交给模型。每个片段至少应保留 source_id、文档标题、位置和正文,生成答案时引用 source_id,前端再用它映射到真实文档与位置。这样即使标题重复,引用关系也不会混淆。

检索片段到引用答案的证据映射流程

约束模型只根据检索内容回答

关键不是简单写一句“请给引用”,而是明确证据边界、无证据时的行为和引用格式。下面是可放入模型调用层的提示词片段;它依赖你的检索结果填充 {context},因此属于片段示例。

text
你是知识库问答助手。只能依据“检索证据”回答,不得补充证据之外的事实。

规则:
1. 每个事实性结论后附来源编号,例如 [S1] 或 [S1][S2]。
2. 只能引用检索证据中出现的 source_id。
3. 如果证据不足,明确回答“根据现有资料无法确定”,不要猜测。
4. 不要把来源编号写成文档标题,也不要创建新的编号。

检索证据:
{context}

用户问题:
{question}

生效行为是:模型的事实性结论必须绑定已有 source_id,证据不足时返回拒答语句。验证时应同时检查答案内容和引用编号,而不是只确认模型“生成了方括号”。

在返回后校验引用

生成模型仍可能输出不存在的编号,因此服务端需要做一次机械校验。下面的脚本把模型结果视为结构化数据,检查每个引用是否属于本次检索证据,并把编号映射为可展示的文档位置。

python
from dataclasses import dataclass

@dataclass(frozen=True)
class Source:
    source_id: str
    title: str
    location: str

def validate_and_resolve(answer: dict, sources: list[Source]) -> list[str]:
    source_map = {source.source_id: source for source in sources}
    citations = answer.get("citations", [])
    unknown = [source_id for source_id in citations if source_id not in source_map]
    if unknown:
        raise ValueError(f"unknown citation: {', '.join(unknown)}")

    # 只把本次检索实际存在的来源暴露给前端。
    return [
        f"[{source_id}] {source_map[source_id].title} - {source_map[source_id].location}"
        for source_id in citations
    ]

def main() -> None:
    sources = [
        Source("S1", "RAG 运维手册", "第 3 章 / 重排"),
        Source("S2", "问答质量规范", "第 2 节 / 引用"),
    ]
    answer = {
        "text": "重排应在召回后执行,并只保留更相关的候选。[S1] 引用编号必须能映射回真实来源。[S2]",
        "citations": ["S1", "S2"],
    }

    print(answer["text"])
    for item in validate_and_resolve(answer, sources):
        print(item)

if __name__ == "__main__":
    main()

预期输出

text
重排应在召回后执行,并只保留更相关的候选。[S1] 引用编号必须能映射回真实来源。[S2]
[S1] RAG 运维手册 - 第 3 章 / 重排
[S2] 问答质量规范 - 第 2 节 / 引用

如果把 citations 改成不存在的 S9,校验器会抛出错误,而不是让前端显示一个无法核验的引用。生产系统还可以继续检查“答案正文里出现的编号”和 citations 数组是否一致。

引用位置要精确到可回查

来源位置应使用知识库本身稳定的信息,例如页码、章节路径、段落锚点或字符区间。只返回“来自某某文档”通常不够,因为读者仍要全文搜索才能验证。切片入库时就保存位置元数据,比生成答案后再猜位置可靠得多。

处理证据不足和多来源冲突

没有足够证据时,应让模型明确拒答,而不是用参数知识补齐空白;这是“仅依据检索内容”的核心约束。如果两个来源互相冲突,可以同时引用并说明差异,但不要擅自选择一个作为事实。

最终验收应关注三件事:每个事实结论是否有证据、每个引用编号是否能回到真实片段、点击来源后能否定位到支持该结论的位置。三者都成立,引用答案才真正可核验。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

生成引用答案

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通