大模型应用开发 / 系统课时

设置检索数量与阈值

设置检索数量与阈值

本课解决 RAG 检索阶段如何控制返回片段数量和质量边界的问题。通过合理设置 Top K 与相似度阈值,可以在召回完整性、上下文长度和模型调用成本之间取得平衡。

学习目标

  • 理解 Top K 与相似度阈值分别影响检索链路的哪些环节
  • 掌握根据业务场景调整检索参数的方法
  • 能够验证检索结果数量和质量是否符合预期

理解 Top K 的作用

Top K 表示向量检索返回的候选片段数量。例如用户问题匹配多个知识片段时,Top K 决定有多少片段进入后续重排或生成阶段。

K 值较小时,返回内容更精确,但可能遗漏补充信息;K 值较大时,召回范围扩大,但无关片段会增加,占用模型上下文窗口并提高成本。

理解相似度阈值

相似度阈值用于过滤低质量候选结果。只有达到指定相似度分数的文档片段才会进入上下文。下面使用简单检索函数模拟参数组合:

python
from typing import List, Dict

def filter_results(items: List[Dict], top_k: int, threshold: float):
    # 先过滤低于阈值的候选,避免无关内容进入上下文
    matched = [item for item in items if item["score"] >= threshold]
    # 再限制最终发送给模型的片段数量
    return sorted(matched, key=lambda x: x["score"], reverse=True)[:top_k]

results = [
    {"id": "doc-1", "score": 0.92},
    {"id": "doc-2", "score": 0.81},
    {"id": "doc-3", "score": 0.55}
]

print(filter_results(results, top_k=2, threshold=0.8))

预期输出

text
[{'id': 'doc-1', 'score': 0.92}, {'id': 'doc-2', 'score': 0.81}]

调整参数的常见策略

知识库问答通常需要先保证召回,再通过重排或模型判断降低噪声。技术文档、接口文档等结构清晰的数据,可以使用较低 K 和较高阈值;开放领域问答则通常需要更高 K 保留上下文。

场景 Top K 阈值特点
精确查询 较小 较高
多文档总结 较大 中等
模糊问题探索 较大 较低

验证检索效果

调整参数后,不应只观察返回数量,还需要检查片段是否真正支持问题答案。可以记录命中率、无效片段比例以及最终生成答案质量,形成参数优化依据。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

设置检索数量与阈值

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通