大模型应用开发 / 系统课时
选择向量数据库
选择向量数据库
本课解决 RAG 项目中“该选哪一种向量存储”的问题。你将把数据规模、过滤需求、部署方式和运维成本转成可比较条件,再通过小规模压测确认最终方案。
学习目标
- 根据规模、过滤和查询压力筛选候选方案
- 区分本地库、关系型扩展、专用数据库和托管服务
- 用统一指标验证选型,而不是只比较功能清单
明确选型条件
先记录当前向量数量、半年增长量、向量维度、峰值 QPS 和 P95 延迟目标。过滤需求也要具体到租户、权限、时间范围和标签组合,因为高频过滤会直接影响索引设计与查询性能。
部署方式决定团队承担的工作。自建方案需要负责容量、备份、升级、监控和故障恢复;托管方案减少运维,但要评估持续费用、网络延迟、数据合规和迁移成本。
对照候选类型
| 方案类型 | 适合场景 | 主要注意点 |
|---|---|---|
| FAISS 等本地库 | 原型、离线检索、单机实验 | 持久化、过滤和高可用需自行补齐 |
| pgvector | 已使用 PostgreSQL,向量需与业务表联查 | 大规模检索前必须压测索引与资源 |
| Qdrant 等专用库 | 过滤条件多、需要独立检索服务 | 增加一套部署、备份和监控 |
| Milvus 等分布式系统 | 超大规模、多节点横向扩展 | 架构和运维复杂度较高 |
| 托管向量服务 | 团队运维能力有限、希望快速上线 | 长期成本、厂商绑定和数据边界 |
不要只按向量数量判断。三百万条向量如果每次都按租户、权限和时间过滤,可能比三千万条无过滤数据更考验系统。
建立决策顺序
推荐先判断是否必须与关系数据进行事务或复杂联查,再判断过滤和并发是否需要专用向量数据库,然后评估是否必须分布式扩展,最后在自建与托管之间权衡运维成本。
下面的程序是教学用初筛器。它输出第一个压测候选,不代表可以跳过真实数据验证。
python
from dataclasses import dataclass
@dataclass(frozen=True)
class Requirements:
vector_count: int
need_sql_join: bool
filter_level: str
prefer_managed: bool
ops_capacity: str
def recommend(req: Requirements) -> str:
# 运维能力不足时,优先减少部署与故障处理工作。
if req.prefer_managed and req.ops_capacity == "low":
return "托管向量服务"
if req.need_sql_join and req.vector_count <= 5_000_000:
return "pgvector"
if req.vector_count >= 100_000_000:
return "Milvus"
if req.filter_level == "high":
return "Qdrant"
return "FAISS"
requirements = Requirements(
vector_count=3_000_000,
need_sql_join=True,
filter_level="high",
prefer_managed=False,
ops_capacity="medium",
)
print(recommend(requirements))预期输出
text
pgvector该结果表示先验证 pgvector。如果 SQL 联查不是硬需求,或者过滤延迟不达标,应继续测试 Qdrant 等专用方案。
用压测完成确认
候选方案保留两到三个,并使用同一批文档、同一嵌入模型和同一查询集测试。至少记录写入速度、索引构建时间、P50/P95 延迟、召回质量、过滤后延迟、内存和磁盘占用。
最终结论还要包含备份恢复时间、升级步骤和月度成本。这样选出的不是“演示最快”的方案,而是团队能够长期运行的方案。
本课总结
- 选型要同时考虑规模、过滤、部署方式和运维成本
- 先按硬约束缩小范围,再用真实数据压测候选方案
- 最终结论应覆盖性能、可靠性、迁移难度和总成本
下一课预告
下一课将创建可用于 RAG 的向量集合,并配置维度、距离算法、主键、文本和元数据字段。
按自己的节奏,确认真正理解。