大模型应用开发 / 系统课时

选择向量数据库

选择向量数据库

本课解决 RAG 项目中“该选哪一种向量存储”的问题。你将把数据规模、过滤需求、部署方式和运维成本转成可比较条件,再通过小规模压测确认最终方案。

学习目标

  • 根据规模、过滤和查询压力筛选候选方案
  • 区分本地库、关系型扩展、专用数据库和托管服务
  • 用统一指标验证选型,而不是只比较功能清单

明确选型条件

先记录当前向量数量、半年增长量、向量维度、峰值 QPS 和 P95 延迟目标。过滤需求也要具体到租户、权限、时间范围和标签组合,因为高频过滤会直接影响索引设计与查询性能。

部署方式决定团队承担的工作。自建方案需要负责容量、备份、升级、监控和故障恢复;托管方案减少运维,但要评估持续费用、网络延迟、数据合规和迁移成本。

对照候选类型

方案类型 适合场景 主要注意点
FAISS 等本地库 原型、离线检索、单机实验 持久化、过滤和高可用需自行补齐
pgvector 已使用 PostgreSQL,向量需与业务表联查 大规模检索前必须压测索引与资源
Qdrant 等专用库 过滤条件多、需要独立检索服务 增加一套部署、备份和监控
Milvus 等分布式系统 超大规模、多节点横向扩展 架构和运维复杂度较高
托管向量服务 团队运维能力有限、希望快速上线 长期成本、厂商绑定和数据边界

不要只按向量数量判断。三百万条向量如果每次都按租户、权限和时间过滤,可能比三千万条无过滤数据更考验系统。

建立决策顺序

推荐先判断是否必须与关系数据进行事务或复杂联查,再判断过滤和并发是否需要专用向量数据库,然后评估是否必须分布式扩展,最后在自建与托管之间权衡运维成本。

下面的程序是教学用初筛器。它输出第一个压测候选,不代表可以跳过真实数据验证。

python
from dataclasses import dataclass

@dataclass(frozen=True)
class Requirements:
    vector_count: int
    need_sql_join: bool
    filter_level: str
    prefer_managed: bool
    ops_capacity: str

def recommend(req: Requirements) -> str:
    # 运维能力不足时,优先减少部署与故障处理工作。
    if req.prefer_managed and req.ops_capacity == "low":
        return "托管向量服务"
    if req.need_sql_join and req.vector_count <= 5_000_000:
        return "pgvector"
    if req.vector_count >= 100_000_000:
        return "Milvus"
    if req.filter_level == "high":
        return "Qdrant"
    return "FAISS"

requirements = Requirements(
    vector_count=3_000_000,
    need_sql_join=True,
    filter_level="high",
    prefer_managed=False,
    ops_capacity="medium",
)
print(recommend(requirements))

预期输出

text
pgvector

该结果表示先验证 pgvector。如果 SQL 联查不是硬需求,或者过滤延迟不达标,应继续测试 Qdrant 等专用方案。

用压测完成确认

候选方案保留两到三个,并使用同一批文档、同一嵌入模型和同一查询集测试。至少记录写入速度、索引构建时间、P50/P95 延迟、召回质量、过滤后延迟、内存和磁盘占用。

最终结论还要包含备份恢复时间、升级步骤和月度成本。这样选出的不是“演示最快”的方案,而是团队能够长期运行的方案。

本课总结

  • 选型要同时考虑规模、过滤、部署方式和运维成本
  • 先按硬约束缩小范围,再用真实数据压测候选方案
  • 最终结论应覆盖性能、可靠性、迁移难度和总成本

下一课预告

下一课将创建可用于 RAG 的向量集合,并配置维度、距离算法、主键、文本和元数据字段。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

选择向量数据库

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通