大模型应用开发 / 系统课时
创建向量集合
创建向量集合
本课将创建一个可直接保存 RAG 文本块的向量集合。你会确定向量维度和距离算法,使用 point ID 作为主键,把正文与来源信息写入 payload,并为常用过滤字段建立索引。
学习目标
- 正确配置向量维度和相似度算法
- 设计主键、正文和可过滤元数据字段
- 创建集合、写入测试数据并验证配置
设计文本块结构
以 Qdrant 为例,集合由多个 point 组成,每个 point 包含 ID、向量和可选 payload;ID 可使用无符号 64 位整数或 UUID,payload 用于保存文本与元数据。:contentReference[oaicite:0]{index=0}
| 字段 | 示例 | 作用 |
|---|---|---|
id |
1001 |
文本块的稳定唯一标识 |
vector |
[0.12, 0.34, ...] |
嵌入模型生成的定长向量 |
text |
向量数据库用于…… |
命中后交给大模型的正文 |
document_id |
doc-001 |
追踪原文并支持重建 |
tenant_id |
tenant-a |
租户隔离和查询过滤 |
chunk_index |
0 |
保留文本块在原文中的顺序 |
Qdrant 的 payload 是灵活 JSON,不需要预先声明全部字段;经常参与过滤的字段应单独建立 payload 索引。:contentReference[oaicite:1]{index=1}
确定维度和距离
集合维度必须与嵌入模型输出完全一致。模型输出 768 维时,集合也要配置为 768;更换模型后如果维度变化,通常需要新建集合并重新生成向量。
文本语义检索常用余弦距离。如果模型文档指定点积或欧氏距离,应遵循模型约定。下面为方便展示使用 4 维测试向量,生产环境必须替换为真实维度。
创建集合并写入数据
运行前需要本机已有 Qdrant 服务,并安装 curl 与 jq。脚本会清理同名测试集合,创建新集合,为过滤字段建立索引,写入一个文本块并读取配置。相关 REST 接口由 Qdrant 官方提供。:contentReference[oaicite:2]{index=2}
set -euo pipefail
BASE_URL="http://localhost:6333"
COLLECTION="rag_chunks"
# 清理旧测试数据,使脚本可重复执行。
curl -sS -X DELETE "$BASE_URL/collections/$COLLECTION" > /dev/null || true
curl -sS -X PUT "$BASE_URL/collections/$COLLECTION" \
-H "Content-Type: application/json" \
-d '{"vectors":{"size":4,"distance":"Cosine"}}' > /dev/null
# 只为高频过滤字段建索引。
for field in tenant_id document_id; do
curl -sS -X PUT "$BASE_URL/collections/$COLLECTION/index?wait=true" \
-H "Content-Type: application/json" \
-d "{\"field_name\":\"$field\",\"field_schema\":\"keyword\"}" > /dev/null
done
curl -sS -X PUT "$BASE_URL/collections/$COLLECTION/points?wait=true" \
-H "Content-Type: application/json" \
-d '{
"points": [{
"id": 1001,
"vector": [0.12, 0.34, 0.56, 0.78],
"payload": {
"text": "向量数据库用于保存嵌入向量和检索元数据。",
"document_id": "doc-001",
"tenant_id": "tenant-a",
"chunk_index": 0
}
}]
}' > /dev/null
curl -sS "$BASE_URL/collections/$COLLECTION" | jq '{
status,
vector_size: .result.config.params.vectors.size,
distance: .result.config.params.vectors.distance,
points_count: .result.points_count,
indexed_fields: (.result.payload_schema | keys)
}'预期输出
{
"status": "ok",
"vector_size": 4,
"distance": "Cosine",
"points_count": 1,
"indexed_fields": [
"document_id",
"tenant_id"
]
}不同版本可能返回额外的耗时和资源统计字段,因此脚本只提取本课需要验证的配置。
检查关键边界
主键应由业务规则稳定生成,例如全局整数 ID 或 UUID。不要把临时数组下标当作长期主键,否则重新切分文档时容易覆盖其他 point。
过滤索引不是越多越好。tenant_id、document_id、权限标签和时间范围通常值得索引;只用于结果展示、不参与过滤的正文可以先不建索引。
多租户场景通常优先使用一个集合加 tenant_id 过滤。只有隔离要求、配置差异或性能边界明确时,才考虑为不同租户创建独立集合。:contentReference[oaicite:3]{index=3}
本课总结
- 集合维度必须与嵌入模型输出一致,距离算法要符合模型约定
- point ID 负责唯一标识,正文和来源信息放入 payload
- 只为高频过滤字段建立索引,并通过写入与读取完成验证
下一课预告
下一课将批量生成并写入向量,同时处理批次大小、失败重试和重复数据。