大模型应用开发 / 系统课时

创建向量集合

创建向量集合

本课将创建一个可直接保存 RAG 文本块的向量集合。你会确定向量维度和距离算法,使用 point ID 作为主键,把正文与来源信息写入 payload,并为常用过滤字段建立索引。

学习目标

  • 正确配置向量维度和相似度算法
  • 设计主键、正文和可过滤元数据字段
  • 创建集合、写入测试数据并验证配置

设计文本块结构

以 Qdrant 为例,集合由多个 point 组成,每个 point 包含 ID、向量和可选 payload;ID 可使用无符号 64 位整数或 UUID,payload 用于保存文本与元数据。:contentReference[oaicite:0]{index=0}

字段 示例 作用
id 1001 文本块的稳定唯一标识
vector [0.12, 0.34, ...] 嵌入模型生成的定长向量
text 向量数据库用于…… 命中后交给大模型的正文
document_id doc-001 追踪原文并支持重建
tenant_id tenant-a 租户隔离和查询过滤
chunk_index 0 保留文本块在原文中的顺序

Qdrant 的 payload 是灵活 JSON,不需要预先声明全部字段;经常参与过滤的字段应单独建立 payload 索引。:contentReference[oaicite:1]{index=1}

确定维度和距离

集合维度必须与嵌入模型输出完全一致。模型输出 768 维时,集合也要配置为 768;更换模型后如果维度变化,通常需要新建集合并重新生成向量。

文本语义检索常用余弦距离。如果模型文档指定点积或欧氏距离,应遵循模型约定。下面为方便展示使用 4 维测试向量,生产环境必须替换为真实维度。

创建集合并写入数据

运行前需要本机已有 Qdrant 服务,并安装 curl 与 jq。脚本会清理同名测试集合,创建新集合,为过滤字段建立索引,写入一个文本块并读取配置。相关 REST 接口由 Qdrant 官方提供。:contentReference[oaicite:2]{index=2}

bash
set -euo pipefail

BASE_URL="http://localhost:6333"
COLLECTION="rag_chunks"

# 清理旧测试数据,使脚本可重复执行。
curl -sS -X DELETE "$BASE_URL/collections/$COLLECTION" > /dev/null || true

curl -sS -X PUT "$BASE_URL/collections/$COLLECTION" \
  -H "Content-Type: application/json" \
  -d '{"vectors":{"size":4,"distance":"Cosine"}}' > /dev/null

# 只为高频过滤字段建索引。
for field in tenant_id document_id; do
  curl -sS -X PUT "$BASE_URL/collections/$COLLECTION/index?wait=true" \
    -H "Content-Type: application/json" \
    -d "{\"field_name\":\"$field\",\"field_schema\":\"keyword\"}" > /dev/null
done

curl -sS -X PUT "$BASE_URL/collections/$COLLECTION/points?wait=true" \
  -H "Content-Type: application/json" \
  -d '{
    "points": [{
      "id": 1001,
      "vector": [0.12, 0.34, 0.56, 0.78],
      "payload": {
        "text": "向量数据库用于保存嵌入向量和检索元数据。",
        "document_id": "doc-001",
        "tenant_id": "tenant-a",
        "chunk_index": 0
      }
    }]
  }' > /dev/null

curl -sS "$BASE_URL/collections/$COLLECTION" | jq '{
  status,
  vector_size: .result.config.params.vectors.size,
  distance: .result.config.params.vectors.distance,
  points_count: .result.points_count,
  indexed_fields: (.result.payload_schema | keys)
}'

预期输出

json
{
  "status": "ok",
  "vector_size": 4,
  "distance": "Cosine",
  "points_count": 1,
  "indexed_fields": [
    "document_id",
    "tenant_id"
  ]
}

不同版本可能返回额外的耗时和资源统计字段,因此脚本只提取本课需要验证的配置。

检查关键边界

主键应由业务规则稳定生成,例如全局整数 ID 或 UUID。不要把临时数组下标当作长期主键,否则重新切分文档时容易覆盖其他 point。

过滤索引不是越多越好。tenant_id、document_id、权限标签和时间范围通常值得索引;只用于结果展示、不参与过滤的正文可以先不建索引。

多租户场景通常优先使用一个集合加 tenant_id 过滤。只有隔离要求、配置差异或性能边界明确时,才考虑为不同租户创建独立集合。:contentReference[oaicite:3]{index=3}

本课总结

  • 集合维度必须与嵌入模型输出一致,距离算法要符合模型约定
  • point ID 负责唯一标识,正文和来源信息放入 payload
  • 只为高频过滤字段建立索引,并通过写入与读取完成验证

下一课预告

下一课将批量生成并写入向量,同时处理批次大小、失败重试和重复数据。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

创建向量集合

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通