大模型应用开发 / 系统课时
重排序候选片段
重排序候选片段
向量召回擅长快速找出“可能相关”的片段,但前几名不一定最适合直接进入提示词。本节用重排序模型再次评估问题与候选片段,把计算预算集中在少量高价值上下文上,并给出可验证的两阶段检索写法。
学习目标
- 解释向量召回与重排序在检索链路中的不同职责
- 使用重排序模型对候选片段重新打分并截取 Top N
- 根据延迟、候选数量和分数分布设置合理的重排序边界
为什么召回后还要重排序
向量检索通常把问题和文档分别编码为向量,再根据余弦相似度或距离快速查找。它的优势是吞吐高、可预计算文档向量,但这种“先独立编码、后比较”的方式可能忽略问题与片段之间更细的词义交互。
重排序模型则把“问题 + 候选片段”成对输入模型,重新计算相关性分数。它通常更慢,却能更细致地判断某个片段是否真正回答当前问题。因此常见做法不是让重排序器搜索整个知识库,而是让召回器先取较大的候选集,再让重排序器精排。

关键参数通常是两个:retrieval_k 决定进入重排序器的候选规模,rerank_top_n 决定最终提供给生成模型的片段数。前者太小会让真正相关的片段在重排序前就被漏掉;后者太大则会重新引入噪声并增加提示词长度。
用 Cross-Encoder 重新打分
下面是片段示例,依赖已安装的 sentence-transformers,并且运行环境能够加载 BAAI/bge-reranker-base。核心动作是构造“问题—片段”配对,调用 predict 得到新分数,再按分数降序截取。
from sentence_transformers import CrossEncoder
question = "如何减少 RAG 返回的低质量上下文?"
candidates = [
{"id": "doc-a", "text": "重排序器会重新评估问题与候选片段的相关性。"},
{"id": "doc-b", "text": "向量数据库可以保存文本对应的嵌入向量。"},
{"id": "doc-c", "text": "可以先扩大召回集,再只保留重排序后的高分片段。"},
]
reranker = CrossEncoder("BAAI/bge-reranker-base")
# 让模型同时看到问题与片段,用更细粒度的交互重新评估相关性。
pairs = [(question, item["text"]) for item in candidates]
scores = reranker.predict(pairs)
# 精排只改变候选顺序,不负责从知识库重新召回缺失内容。
ranked = sorted(
zip(candidates, scores),
key=lambda item: float(item[1]),
reverse=True,
)
selected = ranked[:2]
# 验证排序属性与最终上下文数量,而不依赖模型的具体分值。
is_descending = all(
float(ranked[i][1]) >= float(ranked[i + 1][1])
for i in range(len(ranked) - 1)
)
print(f"候选数: {len(candidates)}")
print(f"分数是否降序: {is_descending}")
print(f"送入生成模型: {len(selected)}")预期输出
候选数: 3
分数是否降序: True
送入生成模型: 2不同模型、模型版本和硬件不会改变上面三项结构性结果,但具体相关性分值会不同。线上验收时应额外记录候选 id、原始召回分数、重排序分数和最终名次,才能判断“召回错了”还是“重排序错了”。
设置候选规模与截断策略
retrieval_k 和 rerank_top_n 不应该凭感觉固定。一个可用的起点是先扩大召回,例如先取 20~50 个候选,再重排到 3~8 个;随后用离线问答集比较召回率、最终答案正确率、P95 延迟和提示词长度,再收缩到满足业务目标的最小规模。
如果知识库中存在大量近重复片段,可以在重排序之后再做轻量去重,避免前几名都来自同一段正文。去重应保留最高分版本,并尽量维持来源多样性,而不是简单按文本长度删除。
验证重排序是否真的有效
验证时不要只看“分数变高了”,而要比较有无重排序的最终质量。准备一组带标准答案或标准证据片段的问题,分别记录召回 Top K 与重排 Top N 中是否包含正确证据,再比较生成答案的引用命中率和错误上下文比例。
如果正确片段从未进入候选集,问题在召回阶段,应调整切分、查询改写、Embedding 或过滤条件;如果正确片段已进入候选集却被排到后面,才应该优先检查重排序模型、输入拼接方式和截断长度。重排序的价值不是“多一个模型”,而是把有限的上下文窗口留给真正能支撑回答的证据。