大模型应用开发 / 系统课时
生成文本嵌入向量
生成文本嵌入向量
学习目标
完成本课后,你将能够:
- 说明嵌入向量表达语义相似性的原理
- 使用
/api/embed处理单条和批量文本- 计算余弦相似度
- 保持索引和查询使用同一嵌入模型
嵌入解决什么问题
嵌入模型把文本映射为固定维度的数值向量。语义接近的文本通常在向量空间中更接近,可用于搜索、聚类、去重和 RAG 检索。
向量不是可读摘要,也不能直接还原原文。它是用于比较语义关系的数值表示。
调用嵌入接口
先下载嵌入模型:
bash
ollama pull embeddinggemma预期输出最终包含:
text
success调用:
bash
curl --fail --silent --show-error http://localhost:11434/api/embed -H "Content-Type: application/json" -d '{
"model": "embeddinggemma",
"input": "Ollama 可以在本地运行模型。"
}'预期响应结构:
json
{
"model": "embeddinggemma",
"embeddings": [
[0.0, 0.0, 0.0]
],
"total_duration": 0,
"load_duration": 0,
"prompt_eval_count": 0
}向量真实维度远大于示例,数值不会固定为 0。
批量输入
执行:
bash
curl --fail --silent --show-error http://localhost:11434/api/embed -H "Content-Type: application/json" -d '{
"model": "embeddinggemma",
"input": [
"Ollama 可以运行本地模型。",
"本地部署有助于控制数据路径。",
"今天适合去公园散步。"
]
}'预期结果:
text
embeddings 数组包含 3 个向量,并与输入顺序一一对应。计算余弦相似度
保存为 embedding_similarity.py:
python
import json
import math
import urllib.request
URL = "http://localhost:11434/api/embed"
TEXTS = [
"Ollama 可以运行本地模型。",
"本地部署有助于控制数据路径。",
"今天适合去公园散步。",
]
payload = {
"model": "embeddinggemma",
"input": TEXTS,
}
request = urllib.request.Request(
URL,
data=json.dumps(payload).encode("utf-8"),
headers={"Content-Type": "application/json"},
)
with urllib.request.urlopen(request, timeout=180) as response:
result = json.load(response)
vectors = result["embeddings"]
def cosine(left: list[float], right: list[float]) -> float:
dot = sum(a * b for a, b in zip(left, right))
left_norm = math.sqrt(sum(a * a for a in left))
right_norm = math.sqrt(sum(b * b for b in right))
if left_norm == 0 or right_norm == 0:
raise ValueError("不能计算零向量的余弦相似度")
return dot / (left_norm * right_norm)
for index in range(1, len(TEXTS)):
score = cosine(vectors[0], vectors[index])
print(f"0 vs {index}: {score:.6f}")运行:
bash
python embedding_similarity.py预期输出结构:
text
0 vs 1: <SIMILARITY>
0 vs 2: <SIMILARITY>通常语义相关句子的分数更高,但具体值依赖模型,不应使用通用固定阈值。
索引一致性
建立索引和查询必须使用相同嵌入模型、版本、维度和预处理方式。更换模型后,旧向量与新查询向量通常不可直接比较,应重新生成索引。需要记录:
- 模型完整名称
- 摘要或版本
- 向量维度
- 文本清洗规则
- 是否截断
- 生成日期
输入长度与 truncate
/api/embed 支持控制超长输入是否截断。截断可能导致文档尾部信息丢失。RAG 中更合理的方式是先切分文本,再对每个块生成嵌入。
将 truncate 设置为 false 可以在超长时返回错误,便于发现切分流程缺陷。
相似度阈值
阈值必须使用目标数据集校准。影响因素包括:
- 嵌入模型
- 文本长度
- 语言
- 领域术语
- 查询与文档表达差异
- 是否标准化向量
- Top K 与后续重排
生产系统应同时观察相关结果的召回率和无关结果的误召率。
本课练习
练习 1:批量生成向量
任务目标:掌握输入输出对应关系。输入或初始条件:准备 10 条文本。实现要求:一次请求生成向量并检查数量与维度。验收条件:每条文本都有一个等长向量。
练习 2:校准相似度
任务目标:建立领域阈值。输入或初始条件:准备相关与不相关文本对。实现要求:计算分数分布。验收条件:阈值来自样本数据,不使用网上通用值。
练习 3:验证模型切换
任务目标:理解索引不兼容。输入或初始条件:使用两个嵌入模型。实现要求:比较维度和分数。验收条件:说明为什么切换模型需要重建索引。
按自己的节奏,确认真正理解。