NoSQL 与搜索 / 知识点

向量数据库操作速查手册

手册条目

组合向量相似度与关键词检索,提高专有名词和语义内容的召回效果。

执行混合检索

当查询既可能包含产品编号、缩写等精确词,也可能是自然语言描述时,同时召回稠密向量与稀疏向量结果,再用 RRF 融合。Qdrant Query API 通过 prefetch 执行多路子查询,并在主查询中统一排序。:contentReference[oaicite:0]{index=0}

命令定位

调用 POST /collections/{collection}/points/query。集合必须预先配置同一批 point 的命名向量 dense 与 sparse,写入时也必须同时保存两种表示。

下面示例假设 dense 为 4 维,仅用于展示请求结构;生产环境要替换成当前嵌入模型的真实维度和查询向量。稀疏向量的 indices 必须沿用建库时的词表编号。

基本语法

bash
export QDRANT_URL='http://localhost:6333'
export COLLECTION='documents'

# 集合必须已存在 dense 与 sparse 两个命名向量字段。
# prefetch 扩大候选集,主查询只返回融合后的前 10 条。
curl -sS -w '\nHTTP %{http_code}\n' -X POST \
  "${QDRANT_URL}/collections/${COLLECTION}/points/query" \
  -H 'Content-Type: application/json' \
  -d '{
    "prefetch": [
      {
        "query": {"indices": [17, 204], "values": [1.0, 0.7]},
        "using": "sparse",
        "limit": 50
      },
      {
        "query": [0.12, 0.34, 0.56, 0.78],
        "using": "dense",
        "limit": 50
      }
    ],
    "query": {"rrf": {}},
    "limit": 10,
    "with_payload": ["title", "doc_id"]
  }'

预期输出

text
{"status":"ok","time":<TIME>,"result":{"points":[{"id":<ID>,"version":<ID>,"score":<FUSION_SCORE>,"payload":{"title":"<TEXT>","doc_id":"<ID>"}}]}}
HTTP 200

读取时先确认 HTTP 200 与 status=ok;最终顺序以 result.points 为准。score 是融合分数,不应与单独的余弦相似度或 BM25 分数直接比较;<TIME>、<ID> 和分数会随数据与版本变化。

常用参数

参数 用法
prefetch[].using 指定本路使用的命名向量,例如 dense、sparse
prefetch[].limit 每路候选数,通常设为最终 limit 的 3~10 倍后压测
query.rrf 按各路名次融合,适合原始分数量纲不同的通道
filter 限定租户、权限、语言或时间范围,避免融合后再做越权过滤
with_payload 只返回展示所需字段,减少网络传输与反序列化开销

分页使用 offset 时,每个 prefetch 的候选数至少覆盖 limit + offset,否则后续页可能为空。:contentReference[oaicite:1]{index=1}

高频用法

  • 专有名词检索:稀疏通道命中型号、错误码、SKU,稠密通道补充同义表达和上下文。
  • 知识库问答:稀疏通道保留术语精度,稠密通道召回语义相近段落,再交给重排或生成模型。
  • 带权限检索:两路使用相同租户与 ACL 过滤条件,避免先召回无权限数据再在应用层删除。

风险与边界

  • 触发条件:直接把稠密相似度与稀疏分数加权相加。可能后果:高量纲通道长期压制另一通道。安全替代:优先使用 RRF,或先离线校准、归一化后再加权。
  • 触发条件:prefetch 候选数过小。可能后果:正确文档未进入融合池,最终调大 limit 也无法恢复。安全替代:用离线评测逐步增加候选数,并同时观察召回率和 P95 延迟。
  • 触发条件:查询向量维度、命名或稀疏词表与集合不一致。可能后果:请求报错或关键词召回失真。安全替代:把模型版本、维度和词表版本写入配置并在启动时校验。

排障清单

  1. 返回未知向量名:检查集合 schema 与 using 是否逐字一致。
  2. 返回维度错误:确认查询编码器与入库编码器使用同一模型版本。
  3. 结果为空:分别执行 dense-only 与 sparse-only 查询,判断是过滤条件、词表还是向量生成问题。
  4. 延迟突增:缩小 prefetch、关闭不必要的 payload/vector 返回,并检查过滤字段是否建立索引。

速查:先保证两路单独检索正确,再启用融合;混合检索不能修复错误的向量、词表或权限过滤。

目录与阅读设置

记录一个想法

向量数据库操作速查手册

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通