大模型应用开发 / 系统课时

去除重复候选

去除重复候选

本课学习如何处理 RAG 检索结果中的重复候选片段,通过相似度检测和内容筛选减少冗余信息,让上下文窗口保留更多有价值的知识内容。

学习目标

  • 理解重复候选对 RAG 效果的影响
  • 掌握基于相似度的去重方法
  • 能够实现简单的候选片段过滤流程

重复候选产生的问题

知识库切分后,相邻文本可能包含大量重叠内容。同一个文档经过不同切片规则处理后,也可能生成多个表达相近的片段。

如果这些片段全部进入上下文,大模型会重复阅读相同信息,不仅浪费上下文窗口,还可能降低回答稳定性。

去重的目标不是简单删除相似文本,而是在保持信息完整性的同时,选择覆盖范围更大的候选结果。

基于向量相似度进行去重

一种常见方法是计算候选片段之间的向量相似度。当两个片段相似度超过阈值时,只保留其中排名更高的一个。

python
from sklearn.metrics.pairwise import cosine_similarity

embeddings = [
    [1.0, 0.0, 0.0],
    [0.95, 0.05, 0.0],
    [0.0, 1.0, 0.0]
]

kept = []
threshold = 0.9

for index, vector in enumerate(embeddings):
    duplicate = False
    if kept:
        similarity = cosine_similarity([vector], [embeddings[i] for i in kept])[0]
        duplicate = max(similarity) >= threshold
    if not duplicate:
        kept.append(index)

print(kept)

预期输出

text
[0, 2]

示例中第二个向量与第一个向量高度相似,因此被认为是重复候选。实际项目中通常使用真实嵌入模型生成向量。

保留更优候选的策略

去重时不能只按出现顺序删除,否则可能保留质量较低的片段。更合理的方式是结合重排分数、来源优先级和文本完整度进行选择。

例如两个片段描述同一配置项,一个来自官方文档,一个来自旧版本说明,应优先保留来源可靠且内容完整的版本。常见筛选规则包括:

  • 优先保留重排得分更高的片段
  • 优先保留包含完整上下文的片段
  • 降低来自同一文档连续切片的数量

去重边界与验证

去重阈值过高会导致重复信息残留,过低则可能误删有价值的补充内容。因此需要结合实际问答效果调整。

验证时可以观察最终上下文长度、引用覆盖率以及模型回答质量。去重后的结果应该减少重复,但不能丢失关键事实。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

去除重复候选

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通