大模型应用开发 / 系统课时
使用父子文档检索
使用父子文档检索
小片段更容易精确匹配,但直接把小片段交给生成模型又可能缺少上下文。本节用父子文档检索把“匹配粒度”和“返回粒度”分开:先检索子块,再根据关联标识回溯并返回完整父文档。
学习目标
- 能解释父文档与子块在检索阶段的不同职责
- 能实现子块命中后按
parent_id回溯父文档 - 能处理多个子块命中同一父文档时的去重问题
为什么要同时保留父文档和子块
把长文档直接做成一个向量,完整上下文得以保留,但局部主题可能被稀释;把文档切得很小,局部匹配会更灵敏,却可能只返回一句定义,缺少前置条件、例子或结论。父子文档检索通过两种粒度同时存在来解决这个冲突。
索引中保存较小的子块,每个子块带稳定的 parent_id;父文档则保存在可按 ID 读取的文档存储中。查询只和子块做相似度匹配,命中后不直接把所有子块拼接给模型,而是先把对应父文档取回,再按父文档 ID 去重。

构建子块索引并回溯父文档
下面的示例把父文档和子块都放在内存中,便于直接运行。真实 RAG 系统通常把 CHILDREN 放进向量索引,把 PARENTS 放进文档库或对象存储;关键约束仍然是每个子块必须能稳定映射回父文档。
PARENTS = {
"p1": {
"title": "父子文档检索",
"text": "把长文档切成较小子块建立索引。检索时先匹配子块,再根据 parent_id 返回更完整的父文档作为生成上下文。",
},
"p2": {
"title": "多查询检索",
"text": "把复杂问题改写为多个查询,分别召回后合并去重,以提高召回覆盖率。",
},
"p3": {
"title": "上下文压缩",
"text": "对已召回内容做筛选或压缩,只保留回答问题需要的上下文,降低无关信息。",
},
}
CHILDREN = [
{"id": "c1", "parent_id": "p1", "text": "小片段用于检索,可提高细粒度语义匹配精度"},
{"id": "c2", "parent_id": "p1", "text": "命中子块后通过 parent_id 返回完整父文档上下文"},
{"id": "c3", "parent_id": "p2", "text": "多个查询分别召回,再按文档标识合并去重"},
{"id": "c4", "parent_id": "p3", "text": "压缩召回内容,减少无关上下文进入生成模型"},
]
def chars(text):
ignored = set(",。!?、:;()() _")
return {ch.lower() for ch in text if ch.strip() and ch not in ignored}
def similarity(query, text):
q = chars(query)
return len(q & chars(text)) / max(len(q), 1)
def search_children(query, top_k=3):
ranked = sorted(
({**child, "score": similarity(query, child["text"])} for child in CHILDREN),
key=lambda item: item["score"],
reverse=True,
)
return ranked[:top_k]
def fetch_parents(child_hits):
best = {}
for hit in child_hits:
parent_id = hit["parent_id"]
# 排名靠前的子块已经代表该父文档的最佳命中,后续重复父文档跳过。
if parent_id not in best:
best[parent_id] = hit["score"]
return [
{"id": pid, "score": score, **PARENTS[pid]}
for pid, score in best.items()
]
query = "小片段检索后怎样返回完整父文档上下文"
child_hits = search_children(query)
parent_hits = fetch_parents(child_hits)
print("child hits:")
for hit in child_hits:
print(hit["id"], hit["parent_id"], f'{hit["score"]:.2f}')
print("parent contexts:")
for parent in parent_hits:
print(parent["id"], f'{parent["score"]:.2f}', parent["title"])预期输出
child hits:
c2 p1 0.59
c1 p1 0.29
c4 p3 0.24
parent contexts:
p1 0.59 父子文档检索
p3 0.24 上下文压缩c2 和 c1 都属于 p1,所以子块阶段有两次命中,父文档阶段只返回一次 p1。这正是父子检索与“直接返回 top_k 子块”的区别:子块负责发现相关位置,父文档负责提供生成时需要的上下文范围。
设计父子粒度与去重
子块应小到能表达单一局部主题,但不能小到只剩孤立关键词;父文档应大到补齐定义、条件和结论,但不能大到一次取回整章、迅速占满上下文窗口。实际切分时可把标题、章节路径等元数据同时写入子块,让短文本仍保留必要语义锚点。
回溯父文档后应按 parent_id 去重,并保留该父文档的最佳子块分数或最佳名次作为排序依据。如果一个父文档命中很多子块,也不要因此把整份父文档重复放入提示词;需要强调多处证据时,可以额外记录命中的子块位置,而不是复制父文档正文。
什么时候值得使用
父子文档检索适合产品手册、技术文档、制度条款、长 FAQ 等“局部容易命中,但回答需要更大上下文”的资料。父文档可以是一节或一个完整条目,子块可以是其中的段落或较短语义块。
如果原始文档本身很短,或者每个切片单独就足以回答问题,引入父子两级存储只会增加索引维护和回溯读取成本。判断标准很直接:当你需要更小的检索单位,却又不愿把同样小的单位直接交给生成模型时,父子文档检索才真正有价值。