大模型应用开发 / 系统课时
去除重复候选
去除重复候选
本课学习如何处理 RAG 检索结果中的重复候选片段,通过相似度检测和内容筛选减少冗余信息,让上下文窗口保留更多有价值的知识内容。
学习目标
- 理解重复候选对 RAG 效果的影响
- 掌握基于相似度的去重方法
- 能够实现简单的候选片段过滤流程
重复候选产生的问题
知识库切分后,相邻文本可能包含大量重叠内容。同一个文档经过不同切片规则处理后,也可能生成多个表达相近的片段。
如果这些片段全部进入上下文,大模型会重复阅读相同信息,不仅浪费上下文窗口,还可能降低回答稳定性。
去重的目标不是简单删除相似文本,而是在保持信息完整性的同时,选择覆盖范围更大的候选结果。
基于向量相似度进行去重
一种常见方法是计算候选片段之间的向量相似度。当两个片段相似度超过阈值时,只保留其中排名更高的一个。
python
from sklearn.metrics.pairwise import cosine_similarity
embeddings = [
[1.0, 0.0, 0.0],
[0.95, 0.05, 0.0],
[0.0, 1.0, 0.0]
]
kept = []
threshold = 0.9
for index, vector in enumerate(embeddings):
duplicate = False
if kept:
similarity = cosine_similarity([vector], [embeddings[i] for i in kept])[0]
duplicate = max(similarity) >= threshold
if not duplicate:
kept.append(index)
print(kept)预期输出
text
[0, 2]示例中第二个向量与第一个向量高度相似,因此被认为是重复候选。实际项目中通常使用真实嵌入模型生成向量。
保留更优候选的策略
去重时不能只按出现顺序删除,否则可能保留质量较低的片段。更合理的方式是结合重排分数、来源优先级和文本完整度进行选择。
例如两个片段描述同一配置项,一个来自官方文档,一个来自旧版本说明,应优先保留来源可靠且内容完整的版本。常见筛选规则包括:
- 优先保留重排得分更高的片段
- 优先保留包含完整上下文的片段
- 降低来自同一文档连续切片的数量
去重边界与验证
去重阈值过高会导致重复信息残留,过低则可能误删有价值的补充内容。因此需要结合实际问答效果调整。
验证时可以观察最终上下文长度、引用覆盖率以及模型回答质量。去重后的结果应该减少重复,但不能丢失关键事实。
按自己的节奏,确认真正理解。