NoSQL 与搜索 / 系统课时

近邻向量查询

近邻向量查询

本课将用一个可执行的 Elasticsearch 示例完成 kNN 向量检索,并说明 k、num_candidates 与 filter 分别控制什么。完成后,你能从“召回多少候选、最终返回多少结果、在哪个阶段过滤”三个角度调试检索质量。

学习目标

  • 使用 dense_vector 字段和 knn 参数发起近邻查询
  • 区分 k、num_candidates 与 size 的职责
  • 正确使用预过滤条件限制向量检索范围

kNN 查询怎样得到结果

kNN 查询接收一个查询向量,在已建立向量索引的 dense_vector 字段中寻找最相近的文档。Elasticsearch 使用近似近邻结构减少全量计算,因此通常能以较低延迟处理大量向量,但结果质量会受到候选规模影响。

查询会在每个分片中探索最多 num_candidates 个候选,再保留局部最优结果并在协调节点合并。k 表示希望保留的最近邻数量,size 控制响应实际返回的命中条数;简单检索中通常让 size 与 k 相同。knn.filter 是预过滤,会在近邻搜索过程中限制可参与匹配的文档,而不是先取一批结果再事后删除。:contentReference[oaicite:0]{index=0}

kNN 查询的分片候选与合并流程

完成一次带过滤的近邻查询

下面的命令创建一个二维向量索引,写入三篇示例文章,再查询与 [1.0, 0.0] 最接近且分类为 tech 的两篇文档。示例假设本地 Elasticsearch 无鉴权;实际环境需要补充 HTTPS、用户名和密码。

bash
ES_URL="${ES_URL:-http://localhost:9200}"

curl -sS -X DELETE "$ES_URL/vector-articles" >/dev/null 2>&1 || true

curl -sS -f -o /dev/null -X PUT "$ES_URL/vector-articles" \
  -H 'Content-Type: application/json' \
  -d '{
    "mappings": {
      "properties": {
        "title": {"type": "keyword"},
        "category": {"type": "keyword"},
        "embedding": {
          "type": "dense_vector",
          "dims": 2,
          "index": true,
          "similarity": "cosine"
        }
      }
    }
  }'

curl -sS -f -o /dev/null -X POST "$ES_URL/vector-articles/_bulk?refresh=true" \
  -H 'Content-Type: application/x-ndjson' \
  --data-binary $'{"index":{"_id":"a"}}\n{"title":"向量检索入门","category":"tech","embedding":[1.0,0.0]}\n{"index":{"_id":"b"}}\n{"title":"语义搜索实践","category":"tech","embedding":[0.8,0.2]}\n{"index":{"_id":"c"}}\n{"title":"城市旅行指南","category":"life","embedding":[0.0,1.0]}\n'

curl -sS -X POST \
  "$ES_URL/vector-articles/_search?filter_path=hits.hits._score,hits.hits._source" \
  -H 'Content-Type: application/json' \
  -w '\nHTTP_STATUS:%{http_code}\n' \
  -d '{
    "size": 2,
    "_source": ["title", "category"],
    "knn": {
      "field": "embedding",
      "query_vector": [1.0, 0.0],
      "k": 2,
      "num_candidates": 3,
      "filter": {
        "term": {"category": "tech"}
      }
    }
  }'

预期结果

text
{"hits":{"hits":[
  {"_score":<POSITIVE_SCORE_1>,"_source":{"title":"向量检索入门","category":"tech"}},
  {"_score":<POSITIVE_SCORE_2>,"_source":{"title":"语义搜索实践","category":"tech"}}
]}}
HTTP_STATUS:200

城市旅行指南不会进入响应体,因为它不满足 knn.filter。
两个 _score 都是正浮点数,具体值可能因 Elasticsearch 版本和向量索引实现而略有差异。

这里的查询向量必须与字段维度一致,否则请求会失败。embedding 已启用索引,因此可以执行近似 kNN;若字段设置为 index: false,只能改用脚本评分等精确扫描方式。

调整候选数量与过滤条件

num_candidates 必须不小于 k,并且是按分片计算的候选数量。提高它通常能增加找到真实最近邻的概率,但会读取更多向量并增加延迟;降低它可以换取速度,却可能漏掉更优结果。Elastic 当前文档还规定该值不能超过 10000。:contentReference[oaicite:1]{index=1}

过滤条件越严格,可参与搜索的文档越少。应优先把租户、权限、状态、地区等硬约束放入 knn.filter,避免返回无权访问或业务上无效的文档。不要用 post_filter 替代它:后过滤可能删掉已经选出的邻居,导致最终结果少于预期。

调参时先固定测试集和查询向量,记录召回率与延迟,再逐步增大 num_candidates。不要只看单次响应时间,也要观察不同分片数量、并发量和过滤选择性下的稳定表现。

本课总结

  • k 决定目标邻居数量,num_candidates 决定每个分片探索的候选规模
  • knn.filter 在近邻搜索阶段执行,适合放置权限和业务硬约束
  • 增大候选数量通常提高召回质量,但会消耗更多计算时间

下一课预告

下一课将比较余弦相似度、点积和欧氏距离,解释同一组向量为何会因评分方式不同而产生不同排序。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

近邻向量查询

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通