大模型应用开发 / 系统课时

实现相似度检索

实现相似度检索

学习目标

完成本课后,你将能够:

  • 使用查询文本生成向量
  • 计算余弦相似度并进行 Top K 排序
  • 在检索前应用权限和元数据过滤
  • 处理重复块、低相关结果和空结果

检索步骤

向量检索的基本流程:

  1. 使用索引相同的嵌入模型处理问题。
  2. 过滤用户无权限的数据。
  3. 计算查询向量与候选向量相似度。
  4. 按分数降序排序。
  5. 取 Top K。
  6. 去除重复或高度重叠结果。
  7. 根据阈值决定是否有可用资料。

完整本地检索脚本

保存为 search_index.py,并确保上一课生成了 vector-index.json:

python
import json
import math
from pathlib import Path
import urllib.request

MODEL = "embeddinggemma"
INDEX_PATH = Path("vector-index.json")
URL = "http://localhost:11434/api/embed"
TOP_K = 2

def cosine(left: list[float], right: list[float]) -> float:
    if len(left) != len(right):
        raise ValueError("向量维度不一致")
    dot = sum(a * b for a, b in zip(left, right))
    left_norm = math.sqrt(sum(a * a for a in left))
    right_norm = math.sqrt(sum(b * b for b in right))
    if left_norm == 0 or right_norm == 0:
        raise ValueError("不能比较零向量")
    return dot / (left_norm * right_norm)

def embed(text: str) -> list[float]:
    payload = {"model": MODEL, "input": text, "truncate": False}
    request = urllib.request.Request(
        URL,
        data=json.dumps(payload).encode("utf-8"),
        headers={"Content-Type": "application/json"},
    )
    with urllib.request.urlopen(request, timeout=180) as response:
        result = json.load(response)
    return result["embeddings"][0]

records = json.loads(INDEX_PATH.read_text(encoding="utf-8"))
query = "如何查看当前正在内存中运行的模型?"
query_vector = embed(query)

scored = []
for record in records:
    if record["embedding_model"] != MODEL:
        continue
    score = cosine(query_vector, record["embedding"])
    scored.append((score, record))

scored.sort(key=lambda item: item[0], reverse=True)

for rank, (score, record) in enumerate(scored[:TOP_K], 1):
    print(
        f"rank={rank} score={score:.6f} "
        f"chunk_id={record['chunk_id']} title={record['title']}"
    )
    print(record["text"])

运行:

bash
python search_index.py

预期输出结构:

text
rank=1 score=<SCORE> chunk_id=ollama-003 title=运行状态
使用 ollama ps 可以查看当前加载到内存的模型。
rank=2 score=<SCORE> chunk_id=<CHUNK_ID> title=<TITLE>
<TEXT>

第一名通常应与 ollama ps 相关,但具体分数和次序由嵌入模型决定。

Top K 的取舍

K 太小可能漏掉分散在多个块的条件;K 太大会引入噪声并占用上下文。选择 K 时应考虑:

  • 问题需要几个来源
  • 块大小
  • 重复率
  • 生成模型上下文
  • 是否有重排
  • 答案是否需要多文档综合

K 应通过问答集评测,而不是固定使用某个网上推荐值。

权限过滤顺序

权限过滤应在文本进入模型前完成。可以在向量数据库查询中按 tenant_id、部门、文档级权限和状态过滤。

错误做法是先检索所有用户的文档,再要求模型“不要泄露无权限内容”。模型提示词不是访问控制。

去重与多样性

相邻重叠块可能同时进入 Top K。可使用:

  • 相同文档相邻块合并
  • chunk_id 去重
  • 内容摘要去重
  • 每个文档限制结果数
  • MMR 等多样性策略
  • 重排模型

去重后仍应保留来源和块范围。

阈值与空结果

当最高分低于经过校准的阈值时,应返回“没有足够资料”,而不是把低相关块交给生成模型强行回答。阈值需要使用目标问题集测量:

  • 有答案问题的最高分分布
  • 无答案问题的最高分分布
  • 不同文档类型和语言
  • 误拒绝与误召回成本

混合检索

向量检索擅长语义表达,关键词检索擅长精确名称、编号、错误码和版本号。技术知识库常将两者组合,再进行重排。

例如查询 ERR_CONNECTION_REFUSED 时,精确关键词可能比纯语义更可靠。

本课练习

练习 1:实现阈值拒绝

任务目标:处理无资料问题。输入或初始条件:准备 10 个库内问题和 10 个库外问题。实现要求:统计最高分并选择阈值。验收条件:报告误召回与误拒绝数量。

练习 2:加入权限过滤

任务目标:防止跨用户检索。输入或初始条件:索引记录含 tenant_id。实现要求:只搜索当前租户。验收条件:其他租户的高分文档也不会返回。

练习 3:减少重复块

任务目标:提高上下文多样性。输入或初始条件:检索结果包含相邻重叠块。实现要求:实现相邻合并或每文档上限。验收条件:相关信息保留且重复字符下降。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

实现相似度检索

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通