AI Agent / 系统课时

检索结果融合与生成优化

检索结果融合与生成优化

单一路径检索很容易偏科:向量检索擅长语义近似,关键词检索更容易命中编号、专有名词和精确短语。本节把多路召回、排序融合、二阶段重排和上下文拼接串成一条可验证链路,让最终交给模型的证据更相关、更少重复。

学习目标

  • 使用稳定的融合方法合并不同检索器的候选结果
  • 理解重排序与初始召回各自解决的问题
  • 按预算、去重和来源约束组织最终生成上下文

先扩大召回,再统一排序

混合检索常见做法是同时运行向量检索与关键词检索。两路分数通常不在同一尺度上,直接相加会让某一路因为数值范围更大而占优。若没有可靠的分数校准,可以先按各自名次使用 Reciprocal Rank Fusion,也就是 RRF:

RRF(d)=∑i1k+ri(d)\mathrm{RRF}(d)=\sum_i \frac{1}{k+r_i(d)}

其中 ri(d)r_i(d) 是文档 dd 在第 ii 路中从 1 开始的名次,kk 为非负的平滑常数。某一路未返回该文档,就没有该路贡献;同一 ID 在同一路只贡献一次。RRF 只依赖名次,因此适合把 BM25、向量相似度等异构检索结果合并成一个候选集。

混合检索、融合、重排与上下文拼接链路

用 RRF 和重排生成候选顺序

下面的最小示例提供两份已有排名,先用 RRF 融合,再用一个可运行的词项重合函数模拟二阶段 reranker。真实项目可以把 rerank 替换为 cross-encoder 或 LLM reranker,但仍应保留同样的“先召回、后精排”边界。

python
from collections import defaultdict
import re

documents = {
    "d1": "RAG 应先从知识库召回候选片段,再把高相关内容交给模型生成答案。",
    "d2": "向量检索擅长语义相似,关键词检索擅长命中产品名、编号和精确术语。",
    "d3": "上下文拼接要控制长度、去重,并保留来源标识,避免低价值片段挤占窗口。",
    "d4": "重排序器会对查询和候选片段重新打分,再选择最适合进入上下文的内容。"
}

dense_rank = ["d4", "d1", "d1", "d3", "d2"]
keyword_rank = ["d2", "d3", "d1", "d4"]

def rrf(rankings: list[list[str]], k: int = 60) -> dict[str, float]:
    if k < 0:
        raise ValueError("k must be nonnegative")
    scores = defaultdict(float)
    for ranking in rankings:
        for rank, doc_id in enumerate(dict.fromkeys(ranking), start=1):
            scores[doc_id] += 1.0 / (k + rank)
    return scores

def tokens(text: str) -> set[str]:
    return set(re.findall(r"[a-z0-9]+|[\u4e00-\u9fff]", text.lower()))

def overlap(query, doc_id):
    q = tokens(query)
    return len(q & tokens(documents[doc_id])) / max(len(q), 1)


query = "怎样融合关键词和向量检索,并控制最终上下文"
# 生产检索应在每一路候选生成前鉴权;这里额外保护融合输入。
allowed = {"d1", "d2", "d3", "d4"}
rankings = [[doc_id for doc_id in ranking if doc_id in allowed]
            for ranking in (dense_rank + ["restricted"], keyword_rank)]
fused = rrf(rankings)
assert fused == rrf([["d4", "d1", "d3", "d2"], keyword_rank])
fused_order = sorted(fused, key=lambda doc_id: (-fused[doc_id], doc_id))
ordered = sorted(fused, key=lambda doc_id: (-overlap(query, doc_id), -fused[doc_id], doc_id))

budget = 90
parts = []
for doc_id in ordered:
    text = f"[{doc_id}] {documents[doc_id]}"
    candidate = "\n".join([*parts, text])
    if len(candidate) <= budget:
        parts.append(text)

context = "\n".join(parts)
assert len(context) <= budget
assert "[restricted]" not in context
print("融合顺序:", " > ".join(fused_order))
print("重排顺序:", " > ".join(ordered))
print("上下文:")
print(context)
print("字符数:", len(context))

预期输出:

text
融合顺序: d2 > d4 > d1 > d3
重排顺序: d2 > d4 > d3 > d1
上下文:
[d2] 向量检索擅长语义相似,关键词检索擅长命中产品名、编号和精确术语。
[d4] 重排序器会对查询和候选片段重新打分,再选择最适合进入上下文的内容。
字符数: 76

示例先按词项重合重排,融合分数仅用于同分时比较。budget 以字符简化演示,统计真正拼接后的来源标记与换行。接入真实模型时应改用目标模型对应的 tokenizer 计算 token,并为系统提示、用户问题和模型输出预留空间,不能把整个上下文窗口都分配给检索片段。

拼接上下文不是简单取 Top K

最终上下文要同时满足相关性、覆盖度和预算。相邻 chunk 高度重叠时,应优先合并或去重;同一来源连续命中多个片段时,可限制单来源占比,避免一个文档挤掉其他证据。对需要引用或审计的 Agent,还应给每个片段保留稳定来源标识,让模型能够把结论和证据对应起来。

用生成结果反推检索问题

生成质量下降时不要只调 Prompt。若答案遗漏事实,先检查相关片段是否进入候选池;候选池里有但未进入上下文,再检查融合、重排和预算;正确证据已经进入上下文但模型仍回答错误,才重点检查提示词、指令冲突和模型能力。

工程验收应把“召回是否正确”和“回答是否正确”分开评估。检索层可以记录 Recall@K、MRR 或人工相关性标签,生成层再检查事实一致性、引用覆盖与无依据回答。这样才能判断问题究竟出在召回、排序、上下文组织还是最终生成。

按自己的节奏,确认真正理解。

目录与阅读设置

记录一个想法

检索结果融合与生成优化

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通