大模型应用开发 / 知识点

RAG 检索召回与评估指标速查

重排与上下文组织

将 Query 与候选文本一起输入模型计算相关性分数,通常比单独比较向量更准确;代价是推理更慢,因此主要用于少量候选的精排。

Cross-Encoder

Cross-Encoder 是一种将 Query 与候选文本成对输入同一个模型,并直接计算二者相关性分数的重排模型。

成立边界

它通常位于召回之后:先用向量检索、关键词检索等方法得到一批候选,再让 Cross-Encoder 逐对计算 Query 与候选文本的相关性并重新排序。由于每个候选都需要参与一次联合推理,候选数量越大,计算成本通常越高。

Cross-Encoder 在召回与精排之间的位置:Query 先经过粗召回得到少量候选,再与每个候选成对输入模型并按相关性分数重新排序

与 Bi-Encoder 的区别

概念 输入方式 典型用途 主要取舍
Bi-Encoder Query 与文档分别编码为向量 大规模初始召回 检索快,但相关性判断较粗
Cross-Encoder Query 与文档拼接后联合输入 少量候选精排 判断更细,但逐候选推理成本更高

因此,Cross-Encoder 通常不直接扫描整个文档库,而是处理召回阶段留下的候选集合。

最小例子

假设粗召回得到三个候选,模型分别计算 Query 与候选的相关性:

text
Query: 如何处理 Redis 连接超时?
A: Redis 连接池配置与连接超时排查
B: Redis 持久化 RDB 与 AOF
C: MySQL 事务隔离级别

Cross-Encoder 可能将 A 排在 B、C 之前,因为它会同时考虑 Query 与每段候选文本的语义关系,而不是只比较预先计算的独立向量。

常见误解

Cross-Encoder 的优势不是“永远比向量检索准确”,而是它可以在候选已经缩小后进行更细粒度的 Query-文档交互建模。候选过多时,推理成本可能成为主要瓶颈。

检索与回答评估

目录与阅读设置

记录一个想法

RAG 检索召回与评估指标速查

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通