NoSQL 与搜索 / 系统课时

向量字段建模

向量字段建模

向量字段建模的核心是把嵌入模型的输出契约准确落到 Elasticsearch 映射中。本课将创建一个可索引的 dense_vector 字段,并验证维度、相似度与近似近邻索引参数是否生效。

学习目标

  • 根据嵌入模型确定 dims、similarity 和字段用途
  • 配置可执行的 dense_vector 映射与 HNSW 索引参数
  • 能写入测试向量并检查映射和维度校验结果

先确定模型契约

dims 必须等于嵌入模型实际输出的向量长度。模型输出 768 维时,映射也必须是 768;维度不一致的文档会被拒绝。示例为了便于手工验证使用 4 维向量,生产环境应替换为真实模型维度。

similarity 决定向量之间如何比较。文本语义检索常使用 cosine;当模型明确要求点积或欧氏距离时,应按模型说明选择 dot_product 或 l2_norm,不能在同一字段中混用不同度量。

index: true 表示为该字段建立近似近邻索引。m 控制图中每个节点的连接规模,ef_construction 控制建图时的搜索范围;值增大通常会提高索引质量,同时增加构建时间和内存占用。

创建 dense_vector 映射

先把 <PORT> 替换为当前 Elasticsearch HTTP 端口。以下命令创建索引、文本字段和一个 4 维向量字段,并显式使用量化 HNSW 索引。

bash
ES_URL="http://localhost:<PORT>"

# 创建索引,向量维度必须与嵌入模型输出一致。
curl -sS -X PUT "$ES_URL/semantic_docs" \
  -H "Content-Type: application/json" \
  -d '{
    "mappings": {
      "properties": {
        "title": {
          "type": "text"
        },
        "category": {
          "type": "keyword"
        },
        "content_vector": {
          "type": "dense_vector",
          "dims": 4,
          "index": true,
          "similarity": "cosine",
          "index_options": {
            "type": "int8_hnsw",
            "m": 16,
            "ef_construction": 100
          }
        }
      }
    }
  }'

预期结果

json
{"acknowledged":true,"shards_acknowledged":true,"index":"semantic_docs"}

如果索引已存在,Elasticsearch 会返回资源已存在错误。练习环境可先删除旧索引再重建;生产环境不要直接删除,应通过新索引和别名完成迁移。

写入验证与建模边界

下面写入一条 4 维向量,并读取目标字段的映射。refresh=wait_for 让本次写入在返回前可被后续搜索读取,适合测试,不建议在高吞吐写入中逐条使用。

bash
ES_URL="http://localhost:<PORT>"

# 写入测试文档后读取映射,验证字段配置。
curl -sS -X PUT "$ES_URL/semantic_docs/_doc/doc-1?refresh=wait_for" \
  -H "Content-Type: application/json" \
  -d '{
    "title": "Elasticsearch 向量检索入门",
    "category": "search",
    "content_vector": [0.11, 0.18, 0.69, 0.44]
  }'

echo

curl -sS "$ES_URL/semantic_docs/_mapping/field/content_vector?pretty"

预期结果

text
第一条响应包含 "result":"created"。
第二条响应中的 content_vector 映射包含 type、dims、index、similarity 和 index_options;dims 为 4,similarity 为 cosine。

验证失败时先检查三项:数组长度是否等于 dims、数组元素是否都是数值、生成向量的模型是否与该索引约定一致。映射创建后不能直接把同一字段改成另一维度,模型升级通常需要新建索引并重新向量化。

小规模数据或教学验证可以先使用保守参数,再通过真实查询集评估召回率和延迟。不要只因为查询更快就减少候选范围,也不要只追求召回率而无限增大建图参数;最终选择应同时考虑文档规模、内存、写入速度和查询目标。

普通业务字段仍然需要明确建模。分类、租户、状态等用于过滤的字段通常使用 keyword、数值或日期类型,正文展示字段使用 text。向量字段不应代替结构化过滤,否则既难保证精确约束,也会浪费近邻候选。

注意:向量维度、索引类型和可用参数会受 Elasticsearch 版本与许可证能力影响。落地前应在目标集群执行映射创建命令,并以实际返回结果为准。

本课总结

  • dims 必须与嵌入模型输出长度完全一致,维度变化通常需要新索引
  • similarity 应遵循模型训练方式,index_options 决定近似近邻索引的质量与资源成本
  • 向量字段负责语义召回,结构化字段继续承担过滤、权限和展示职责

下一课预告

下一课将基于已建好的向量字段执行 kNN 查询,并进一步组合关键词条件形成混合检索。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

向量字段建模

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通