NoSQL 与搜索 / 系统课时
向量字段建模
向量字段建模
向量字段建模的核心是把嵌入模型的输出契约准确落到 Elasticsearch 映射中。本课将创建一个可索引的 dense_vector 字段,并验证维度、相似度与近似近邻索引参数是否生效。
学习目标
- 根据嵌入模型确定
dims、similarity和字段用途 - 配置可执行的
dense_vector映射与 HNSW 索引参数 - 能写入测试向量并检查映射和维度校验结果
先确定模型契约
dims 必须等于嵌入模型实际输出的向量长度。模型输出 768 维时,映射也必须是 768;维度不一致的文档会被拒绝。示例为了便于手工验证使用 4 维向量,生产环境应替换为真实模型维度。
similarity 决定向量之间如何比较。文本语义检索常使用 cosine;当模型明确要求点积或欧氏距离时,应按模型说明选择 dot_product 或 l2_norm,不能在同一字段中混用不同度量。
index: true 表示为该字段建立近似近邻索引。m 控制图中每个节点的连接规模,ef_construction 控制建图时的搜索范围;值增大通常会提高索引质量,同时增加构建时间和内存占用。
创建 dense_vector 映射
先把 <PORT> 替换为当前 Elasticsearch HTTP 端口。以下命令创建索引、文本字段和一个 4 维向量字段,并显式使用量化 HNSW 索引。
ES_URL="http://localhost:<PORT>"
# 创建索引,向量维度必须与嵌入模型输出一致。
curl -sS -X PUT "$ES_URL/semantic_docs" \
-H "Content-Type: application/json" \
-d '{
"mappings": {
"properties": {
"title": {
"type": "text"
},
"category": {
"type": "keyword"
},
"content_vector": {
"type": "dense_vector",
"dims": 4,
"index": true,
"similarity": "cosine",
"index_options": {
"type": "int8_hnsw",
"m": 16,
"ef_construction": 100
}
}
}
}
}'预期结果
{"acknowledged":true,"shards_acknowledged":true,"index":"semantic_docs"}如果索引已存在,Elasticsearch 会返回资源已存在错误。练习环境可先删除旧索引再重建;生产环境不要直接删除,应通过新索引和别名完成迁移。
写入验证与建模边界
下面写入一条 4 维向量,并读取目标字段的映射。refresh=wait_for 让本次写入在返回前可被后续搜索读取,适合测试,不建议在高吞吐写入中逐条使用。
ES_URL="http://localhost:<PORT>"
# 写入测试文档后读取映射,验证字段配置。
curl -sS -X PUT "$ES_URL/semantic_docs/_doc/doc-1?refresh=wait_for" \
-H "Content-Type: application/json" \
-d '{
"title": "Elasticsearch 向量检索入门",
"category": "search",
"content_vector": [0.11, 0.18, 0.69, 0.44]
}'
echo
curl -sS "$ES_URL/semantic_docs/_mapping/field/content_vector?pretty"预期结果
第一条响应包含 "result":"created"。
第二条响应中的 content_vector 映射包含 type、dims、index、similarity 和 index_options;dims 为 4,similarity 为 cosine。验证失败时先检查三项:数组长度是否等于 dims、数组元素是否都是数值、生成向量的模型是否与该索引约定一致。映射创建后不能直接把同一字段改成另一维度,模型升级通常需要新建索引并重新向量化。
小规模数据或教学验证可以先使用保守参数,再通过真实查询集评估召回率和延迟。不要只因为查询更快就减少候选范围,也不要只追求召回率而无限增大建图参数;最终选择应同时考虑文档规模、内存、写入速度和查询目标。
普通业务字段仍然需要明确建模。分类、租户、状态等用于过滤的字段通常使用 keyword、数值或日期类型,正文展示字段使用 text。向量字段不应代替结构化过滤,否则既难保证精确约束,也会浪费近邻候选。
注意:向量维度、索引类型和可用参数会受 Elasticsearch 版本与许可证能力影响。落地前应在目标集群执行映射创建命令,并以实际返回结果为准。
本课总结
dims必须与嵌入模型输出长度完全一致,维度变化通常需要新索引similarity应遵循模型训练方式,index_options决定近似近邻索引的质量与资源成本- 向量字段负责语义召回,结构化字段继续承担过滤、权限和展示职责
下一课预告
下一课将基于已建好的向量字段执行 kNN 查询,并进一步组合关键词条件形成混合检索。