NoSQL 与搜索 / 系统课时

向量相似度评分

向量相似度评分

本课解决“同一批向量为什么会得到不同排序”的问题。你将从方向、长度和空间距离三个角度理解余弦相似度、点积与欧氏距离,并结合模型是否归一化选择 Elasticsearch 的 similarity。

学习目标

  • 解释三种评分方式分别关注向量的哪些特征
  • 根据嵌入模型输出选择合适的相似度
  • 理解 Elasticsearch 如何把原始相似度转换为 _score

三种评分方式的本质

余弦相似度比较两个向量的夹角,公式为 cos(a,b)=(a⋅b)/(∣a∣∣b∣)cos(a,b)=(a·b)/(|a||b|)。只要方向相同,即使向量长度不同,结果也接近 1,因此它适合“方向代表语义、长度不应影响排序”的嵌入。

点积直接计算 a⋅ba·b,同时受到方向和长度影响。两个向量方向相近时,长度更大的向量可能得到更高分。Elasticsearch 的浮点 dot_product 要求文档向量和查询向量都是单位向量;若模型已经完成 L2 归一化,它与余弦相似度会产生相同排序,并可使用更直接的计算方式。:contentReference[oaicite:2]{index=2}

欧氏距离衡量两点在向量空间中的直线距离,距离越小越相似。它保留绝对坐标和尺度差异,适合向量位置本身具有度量意义的场景,但对不同维度的量纲和数值范围更敏感。

余弦、点积与欧氏距离的几何差异

在 Elasticsearch 中选择评分方式

相似度在 dense_vector 映射中确定。普通浮点向量默认使用 cosine;选择 dot_product 时必须保证向量已归一化;选择 l2_norm 时应确保各维度尺度可比较。字段建立索引后,不应把更换评分方式当作普通查询参数,通常需要创建新字段或新索引并重新写入向量。

下面是创建索引请求体的片段示例,需要作为 PUT /vector-score-demo 的请求体提交。验证时可执行 GET vector-score-demo/_mapping,检查 embedding.similarity 是否为 cosine。

json
{
  "mappings": {
    "properties": {
      "embedding": {
        "type": "dense_vector",
        "dims": 3,
        "index": true,
        "similarity": "cosine"
      }
    }
  }
}

Elasticsearch 会把不同指标转换成“越大越好”的正 _score。对浮点向量,余弦和单位向量点积使用 (1 + similarity) / 2;L2 使用 1 / (1 + distance²)。因此 _score 适合在同一字段、同一指标下排序,不应直接把不同指标的分数当作同一量纲比较。:contentReference[oaicite:3]{index=3}

用可运行示例观察排序差异

下面的 Python 程序对同一组二维向量计算三种指标。向量 B 与查询向量方向完全相同但长度更大;向量 C 长度接近,却存在明显夹角。

python
from math import sqrt
from typing import List

Vector = List[float]

def dot(a: Vector, b: Vector) -> float:
    return sum(x * y for x, y in zip(a, b))

def norm(v: Vector) -> float:
    return sqrt(dot(v, v))

def cosine(a: Vector, b: Vector) -> float:
    # 零向量没有可定义的方向,生产代码应提前拒绝。
    return dot(a, b) / (norm(a) * norm(b))

def l2_distance(a: Vector, b: Vector) -> float:
    # 欧氏距离越小越相似,与前两种“越大越相似”相反。
    return sqrt(sum((x - y) ** 2 for x, y in zip(a, b)))

query = [1.0, 0.0]
documents = {
    "A": [1.0, 0.0],
    "B": [2.0, 0.0],
    "C": [1.0, 1.0],
}

for name, vector in documents.items():
    print(
        name,
        f"cosine={cosine(query, vector):.4f}",
        f"dot={dot(query, vector):.4f}",
        f"l2={l2_distance(query, vector):.4f}",
    )

预期输出

text
A cosine=1.0000 dot=1.0000 l2=0.0000
B cosine=1.0000 dot=2.0000 l2=1.0000
C cosine=0.7071 dot=1.0000 l2=1.0000

结果表明,余弦认为 A 与 B 同样相似,因为它们方向一致;点积更偏好长度更大的 B;欧氏距离则明确把与查询向量重合的 A 排在最前。选择指标时必须服从模型训练方式,而不是仅凭一次搜索效果决定。

本课总结

  • 余弦主要比较方向,点积同时受方向和长度影响,欧氏距离比较绝对位置
  • 已归一化嵌入适合余弦或单位向量点积,未归一化向量不能直接使用浮点 dot_product
  • 不同指标会被转换成不同 _score,跨指标直接比较分数没有意义

下一课预告

下一课将把关键词查询与向量检索组合起来,学习如何构建兼顾精确匹配和语义召回的混合检索。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

向量相似度评分

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通