大模型应用开发 / 系统课时

用重排模型提升前排命中

用重排模型提升前排命中

初步召回解决“可能相关”,但它常把词面相似、却不能直接回答问题的片段排在前面。本篇把重排器接到召回之后,用交叉编码重新比较“问题—候选片段”,再用离线命中率和在线延迟决定是否值得保留这一步。

学习目标

  • 解释初步召回与重排在 RAG 检索链路中的职责差异
  • 用交叉编码模型对候选片段重新打分并选出前若干条
  • 用可量化指标判断重排收益是否覆盖额外延迟

为什么初步召回之后还会错

向量或混合检索通常先从大规模语料里找出几十个候选,它强调召回率,目标是不漏掉答案。问题在于双编码检索会分别编码问题和文档,再比较向量距离,交互发生得较晚;候选里因此容易混入“主题相关但不能回答”的片段。

重排器的任务不同。交叉编码模型会把问题和单个候选一起送入模型,让两段文本在同一次前向计算中充分交互,然后输出相关性分数。它更适合处理否定、限定条件、时间范围和对象身份等细粒度差异,但计算成本也明显高于向量相似度。

两阶段重排链路

常见做法是先取较大的候选集,例如先召回 30~100 条,再只对这些候选做重排,最终保留 3~8 条给生成模型。候选数不是固定答案,应通过离线评测寻找“召回不再明显上升”的拐点。

两阶段检索与重排数据流

工程上还要保留候选原始分数、重排分数、文档 ID 和版本信息。出现线上误答时,才能区分是“没召回”“召回了但被重排压下去”,还是“证据正确但生成阶段使用错误”。

用交叉编码模型完成一次重排

下面示例假定环境已安装 sentence-transformers,并使用一个交叉编码器对三个候选重排。真实系统通常从向量库得到这些候选,本例直接写在内存中,便于只观察重排行为。

python
from sentence_transformers import CrossEncoder

query = "企业版退款审核通过后多久到账?"
candidates = [
    {
        "id": "refund-policy",
        "text": "企业版退款审核通过后,原支付渠道通常在 3 到 5 个工作日到账。"
    },
    {
        "id": "refund-process",
        "text": "企业版退款申请需先提交工单并通过管理员确认,到账时间以退款政策为准。"
    },
    {
        "id": "shipping-policy",
        "text": "实体礼品发货后通常在 3 到 5 个工作日送达。"
    },
]

model = CrossEncoder("BAAI/bge-reranker-base")
pairs = [(query, item["text"]) for item in candidates]
scores = model.predict(pairs)

ranked = sorted(
    zip(candidates, scores),
    key=lambda pair: float(pair[1]),
    reverse=True,
)

print("top1 =", ranked[0][0]["id"])
print("selected =", [item["id"] for item, _ in ranked[:2]])

预期输出:

text
top1 = refund-policy
selected = ['refund-policy', 'refund-process']

首次运行可能需要下载模型,耗时与缓存位置因环境而异。这里不依赖具体分数,只验证真正回答“多久到账”的退款政策被推到第一位,而同样包含“3 到 5 个工作日”的发货片段不会因为词面相似占据前排。

用指标判断重排值不值得

离线先看 Recall@K、MRR 或 nDCG,其中前排质量可重点关注 MRR 与 nDCG。如果目标是“前 3 条里至少有一条可直接回答”,也可以建立更贴近业务的 Hit@3。评测集必须包含容易混淆的负样本,否则重排收益会被高估。

在线则同时记录重排阶段的 P50/P95 延迟、模型吞吐和最终回答命中率。若把候选从 20 条提高到 100 条只带来极小准确率提升,却让 P95 延迟明显上升,就应缩小候选集、换轻量模型或只对高价值问题启用重排。

稳定的重排链路应当能回答三个问题:正确证据是否被召回、是否被排进前几名、增加的延迟是否在业务预算内。只有这三项同时成立,前排命中率的提升才会真正转化为客服回答质量。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用重排模型提升前排命中

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通