大模型应用开发 / 系统课时

生成文本嵌入向量

生成文本嵌入向量

学习目标

完成本课后,你将能够:

  • 说明嵌入向量表达语义相似性的原理
  • 使用 /api/embed 处理单条和批量文本
  • 计算余弦相似度
  • 保持索引和查询使用同一嵌入模型

嵌入解决什么问题

嵌入模型把文本映射为固定维度的数值向量。语义接近的文本通常在向量空间中更接近,可用于搜索、聚类、去重和 RAG 检索。

向量不是可读摘要,也不能直接还原原文。它是用于比较语义关系的数值表示。

调用嵌入接口

先下载嵌入模型:

bash
ollama pull embeddinggemma

预期输出最终包含:

text
success

调用:

bash
curl --fail --silent --show-error http://localhost:11434/api/embed   -H "Content-Type: application/json"   -d '{
    "model": "embeddinggemma",
    "input": "Ollama 可以在本地运行模型。"
  }'

预期响应结构:

json
{
  "model": "embeddinggemma",
  "embeddings": [
    [0.0, 0.0, 0.0]
  ],
  "total_duration": 0,
  "load_duration": 0,
  "prompt_eval_count": 0
}

向量真实维度远大于示例,数值不会固定为 0。

批量输入

执行:

bash
curl --fail --silent --show-error http://localhost:11434/api/embed   -H "Content-Type: application/json"   -d '{
    "model": "embeddinggemma",
    "input": [
      "Ollama 可以运行本地模型。",
      "本地部署有助于控制数据路径。",
      "今天适合去公园散步。"
    ]
  }'

预期结果:

text
embeddings 数组包含 3 个向量,并与输入顺序一一对应。

计算余弦相似度

保存为 embedding_similarity.py:

python
import json
import math
import urllib.request

URL = "http://localhost:11434/api/embed"
TEXTS = [
    "Ollama 可以运行本地模型。",
    "本地部署有助于控制数据路径。",
    "今天适合去公园散步。",
]

payload = {
    "model": "embeddinggemma",
    "input": TEXTS,
}

request = urllib.request.Request(
    URL,
    data=json.dumps(payload).encode("utf-8"),
    headers={"Content-Type": "application/json"},
)

with urllib.request.urlopen(request, timeout=180) as response:
    result = json.load(response)

vectors = result["embeddings"]

def cosine(left: list[float], right: list[float]) -> float:
    dot = sum(a * b for a, b in zip(left, right))
    left_norm = math.sqrt(sum(a * a for a in left))
    right_norm = math.sqrt(sum(b * b for b in right))
    if left_norm == 0 or right_norm == 0:
        raise ValueError("不能计算零向量的余弦相似度")
    return dot / (left_norm * right_norm)

for index in range(1, len(TEXTS)):
    score = cosine(vectors[0], vectors[index])
    print(f"0 vs {index}: {score:.6f}")

运行:

bash
python embedding_similarity.py

预期输出结构:

text
0 vs 1: <SIMILARITY>
0 vs 2: <SIMILARITY>

通常语义相关句子的分数更高,但具体值依赖模型,不应使用通用固定阈值。

索引一致性

建立索引和查询必须使用相同嵌入模型、版本、维度和预处理方式。更换模型后,旧向量与新查询向量通常不可直接比较,应重新生成索引。需要记录:

  • 模型完整名称
  • 摘要或版本
  • 向量维度
  • 文本清洗规则
  • 是否截断
  • 生成日期

输入长度与 truncate

/api/embed 支持控制超长输入是否截断。截断可能导致文档尾部信息丢失。RAG 中更合理的方式是先切分文本,再对每个块生成嵌入。

将 truncate 设置为 false 可以在超长时返回错误,便于发现切分流程缺陷。

相似度阈值

阈值必须使用目标数据集校准。影响因素包括:

  • 嵌入模型
  • 文本长度
  • 语言
  • 领域术语
  • 查询与文档表达差异
  • 是否标准化向量
  • Top K 与后续重排

生产系统应同时观察相关结果的召回率和无关结果的误召率。

本课练习

练习 1:批量生成向量

任务目标:掌握输入输出对应关系。输入或初始条件:准备 10 条文本。实现要求:一次请求生成向量并检查数量与维度。验收条件:每条文本都有一个等长向量。

练习 2:校准相似度

任务目标:建立领域阈值。输入或初始条件:准备相关与不相关文本对。实现要求:计算分数分布。验收条件:阈值来自样本数据,不使用网上通用值。

练习 3:验证模型切换

任务目标:理解索引不兼容。输入或初始条件:使用两个嵌入模型。实现要求:比较维度和分数。验收条件:说明为什么切换模型需要重建索引。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

生成文本嵌入向量

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通