大模型应用开发 / 系统课时

执行向量检索

执行向量检索

向量检索的核心链路是:把用户问题转换为向量,在同一向量空间中计算相似度,再用返回数量和阈值筛出候选片段。本节实现一个可运行的最小检索器,并说明 top_k 与相似度阈值分别控制什么。

学习目标

  • 理解“问题向量化 → 相似度计算 → 排序 → 阈值过滤”的检索过程。
  • 正确设置 top_k 和相似度阈值,控制候选知识的数量与质量。
  • 用可解释的输出检查候选片段是否适合进入后续重排或生成阶段。

从问题到候选片段

检索前,文档片段已经被向量化并写入索引。收到用户问题后,必须使用兼容的嵌入方法生成查询向量;随后计算查询向量与各片段向量的相似度,按分数降序排列,并只保留满足阈值的前 top_k 条。

向量检索从问题到候选片段的数据流

top_k 解决“最多拿多少条”,阈值解决“最低要多相似”。只设 top_k 时,即使所有结果都很差,也会硬返回若干片段;只设阈值时,相关结果很多时又可能返回过多内容。因此二者通常一起使用。

实现一个最小向量检索器

下面用二维向量演示完整检索过程。示例中的向量是预先给定的,目的是把注意力放在检索逻辑本身;接入真实嵌入模型时,只需把 embed_query 替换为实际模型调用,并保证文档与问题使用同一模型和维度。

python
from dataclasses import dataclass
from math import sqrt

@dataclass
class Record:
    chunk_id: str
    text: str
    vector: list[float]

def cosine_similarity(a: list[float], b: list[float]) -> float:
    dot = sum(x * y for x, y in zip(a, b))
    norm_a = sqrt(sum(x * x for x in a))
    norm_b = sqrt(sum(y * y for y in b))
    return dot / (norm_a * norm_b)

def embed_query(question: str) -> list[float]:
    # 演示中的固定映射用于复现实验结果;真实系统应调用同一嵌入模型。
    if "退款" in question:
        return [1.0, 0.0]
    return [0.0, 1.0]

def search(
    records: list[Record],
    question: str,
    top_k: int,
    min_score: float,
) -> list[tuple[str, float, str]]:
    query_vector = embed_query(question)
    scored = [
        (r.chunk_id, cosine_similarity(query_vector, r.vector), r.text)
        for r in records
    ]
    scored.sort(key=lambda item: item[1], reverse=True)
    return [item for item in scored if item[1] >= min_score][:top_k]

records = [
    Record("c1", "退款期限为 14 天。", [0.98, 0.20]),
    Record("c2", "退款失败时转人工处理。", [0.90, 0.30]),
    Record("c3", "发票可在订单页下载。", [0.15, 0.99]),
]

results = search(
    records,
    question="退款需要在几天内申请?",
    top_k=2,
    min_score=0.80,
)

for chunk_id, score, text in results:
    print(chunk_id, f"{score:.3f}", text)

预期输出:

text
c1 0.980 退款期限为 14 天。
c2 0.949 退款失败时转人工处理。

实际项目中的相似度数值会受嵌入模型、向量归一化方式和向量库距离定义影响,因此不要把示例中的 0.80 当成通用阈值。应使用自己的查询集观察相关与不相关片段的分数分布后再定。

调整 top_k 与相似度阈值

top_k 太小,可能漏掉后续重排所需的相关片段;太大,则会增加重排和生成上下文成本。对简单事实问答,可以从较小值开始;需要多证据拼接时,可以提高 top_k,再交给重排器压缩。

阈值太低会让弱相关内容进入候选集,增加模型“被错误上下文带偏”的风险;阈值太高则可能让答案需要的片段被提前丢弃。一个常见做法是先设较宽松的召回阈值,再通过重排分数、文档权限、时间范围等条件二次过滤。

验收检索结果

上线前应准备一组带已知答案来源的问题,记录“目标片段是否进入前 top_k”“目标片段分数”“首条错误片段分数”等指标。这样调参依据来自真实检索表现,而不是凭感觉修改阈值。

当候选片段能够稳定覆盖正确知识时,向量检索阶段就完成了它的职责:尽量把可能相关的内容召回。后续是否最终采用某个片段,应继续交给 metadata 过滤、重排和生成阶段判断,而不是把“向量最相似”直接等同于“答案一定正确”。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

执行向量检索

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通