大模型应用开发 / 系统课时
实现相似度检索
实现相似度检索
学习目标
完成本课后,你将能够:
- 使用查询文本生成向量
- 计算余弦相似度并进行 Top K 排序
- 在检索前应用权限和元数据过滤
- 处理重复块、低相关结果和空结果
检索步骤
向量检索的基本流程:
- 使用索引相同的嵌入模型处理问题。
- 过滤用户无权限的数据。
- 计算查询向量与候选向量相似度。
- 按分数降序排序。
- 取 Top K。
- 去除重复或高度重叠结果。
- 根据阈值决定是否有可用资料。
完整本地检索脚本
保存为 search_index.py,并确保上一课生成了 vector-index.json:
python
import json
import math
from pathlib import Path
import urllib.request
MODEL = "embeddinggemma"
INDEX_PATH = Path("vector-index.json")
URL = "http://localhost:11434/api/embed"
TOP_K = 2
def cosine(left: list[float], right: list[float]) -> float:
if len(left) != len(right):
raise ValueError("向量维度不一致")
dot = sum(a * b for a, b in zip(left, right))
left_norm = math.sqrt(sum(a * a for a in left))
right_norm = math.sqrt(sum(b * b for b in right))
if left_norm == 0 or right_norm == 0:
raise ValueError("不能比较零向量")
return dot / (left_norm * right_norm)
def embed(text: str) -> list[float]:
payload = {"model": MODEL, "input": text, "truncate": False}
request = urllib.request.Request(
URL,
data=json.dumps(payload).encode("utf-8"),
headers={"Content-Type": "application/json"},
)
with urllib.request.urlopen(request, timeout=180) as response:
result = json.load(response)
return result["embeddings"][0]
records = json.loads(INDEX_PATH.read_text(encoding="utf-8"))
query = "如何查看当前正在内存中运行的模型?"
query_vector = embed(query)
scored = []
for record in records:
if record["embedding_model"] != MODEL:
continue
score = cosine(query_vector, record["embedding"])
scored.append((score, record))
scored.sort(key=lambda item: item[0], reverse=True)
for rank, (score, record) in enumerate(scored[:TOP_K], 1):
print(
f"rank={rank} score={score:.6f} "
f"chunk_id={record['chunk_id']} title={record['title']}"
)
print(record["text"])运行:
bash
python search_index.py预期输出结构:
text
rank=1 score=<SCORE> chunk_id=ollama-003 title=运行状态
使用 ollama ps 可以查看当前加载到内存的模型。
rank=2 score=<SCORE> chunk_id=<CHUNK_ID> title=<TITLE>
<TEXT>第一名通常应与 ollama ps 相关,但具体分数和次序由嵌入模型决定。
Top K 的取舍
K 太小可能漏掉分散在多个块的条件;K 太大会引入噪声并占用上下文。选择 K 时应考虑:
- 问题需要几个来源
- 块大小
- 重复率
- 生成模型上下文
- 是否有重排
- 答案是否需要多文档综合
K 应通过问答集评测,而不是固定使用某个网上推荐值。
权限过滤顺序
权限过滤应在文本进入模型前完成。可以在向量数据库查询中按 tenant_id、部门、文档级权限和状态过滤。
错误做法是先检索所有用户的文档,再要求模型“不要泄露无权限内容”。模型提示词不是访问控制。
去重与多样性
相邻重叠块可能同时进入 Top K。可使用:
- 相同文档相邻块合并
chunk_id去重- 内容摘要去重
- 每个文档限制结果数
- MMR 等多样性策略
- 重排模型
去重后仍应保留来源和块范围。
阈值与空结果
当最高分低于经过校准的阈值时,应返回“没有足够资料”,而不是把低相关块交给生成模型强行回答。阈值需要使用目标问题集测量:
- 有答案问题的最高分分布
- 无答案问题的最高分分布
- 不同文档类型和语言
- 误拒绝与误召回成本
混合检索
向量检索擅长语义表达,关键词检索擅长精确名称、编号、错误码和版本号。技术知识库常将两者组合,再进行重排。
例如查询 ERR_CONNECTION_REFUSED 时,精确关键词可能比纯语义更可靠。
本课练习
练习 1:实现阈值拒绝
任务目标:处理无资料问题。输入或初始条件:准备 10 个库内问题和 10 个库外问题。实现要求:统计最高分并选择阈值。验收条件:报告误召回与误拒绝数量。
练习 2:加入权限过滤
任务目标:防止跨用户检索。输入或初始条件:索引记录含 tenant_id。实现要求:只搜索当前租户。验收条件:其他租户的高分文档也不会返回。
练习 3:减少重复块
任务目标:提高上下文多样性。输入或初始条件:检索结果包含相邻重叠块。实现要求:实现相邻合并或每文档上限。验收条件:相关信息保留且重复字符下降。
按自己的节奏,确认真正理解。