机器学习与深度学习 / 系统课时

用 FAISS 建近似近邻索引

用 FAISS 建近似近邻索引

这一课把物品向量真正变成可检索的召回索引:先用精确搜索建立基线,再切换到近似近邻索引,比较召回率、查询延迟与内存开销,最后用参数调优找到适合线上服务的平衡点。

学习目标

  • 能用 FAISS 建立精确索引与近似近邻索引,并完成 TopK 检索
  • 能用 Recall@K、延迟和索引大小评估不同配置
  • 能解释 nlist、nprobe 等参数怎样影响召回率与检索成本

先建立可比较的精确基线

向量召回的目标是:给定查询向量,在物品向量库中找出最相似的 TopK。若向量已做 L2 归一化,内积就等价于余弦相似度,因此可以使用 IndexFlatIP 做精确搜索。

精确索引会逐个比较候选向量,结果可作为“真值”基线。它不需要训练,召回率最高,但当物品规模从几十万增长到几百万甚至更高时,查询延迟会随候选数量线性上升。

下面用 5 万个 64 维向量构造一个可直接运行的对比实验。

python
import time
import numpy as np
import faiss

rng = np.random.default_rng(42)
dimension = 64
item_count = 50_000
query_count = 200
topk = 20

items = rng.normal(size=(item_count, dimension)).astype("float32")
queries = rng.normal(size=(query_count, dimension)).astype("float32")

# 归一化后,内积可作为余弦相似度使用。
faiss.normalize_L2(items)
faiss.normalize_L2(queries)

flat_index = faiss.IndexFlatIP(dimension)
flat_index.add(items)

start = time.perf_counter()
_, exact_ids = flat_index.search(queries, topk)
elapsed_ms = (time.perf_counter() - start) * 1000

print("ntotal:", flat_index.ntotal)
print("result shape:", exact_ids.shape)
print("avg latency ms:", round(elapsed_ms / query_count, 3))

预期输出

text
ntotal: 50000
result shape: (200, 20)
avg latency ms: <TIME>

<TIME> 会随 CPU、线程数和 FAISS 构建方式变化,但前两项应稳定。后续近似索引都与 exact_ids 比较,而不是凭延迟单独判断效果。

用 IVF 缩小搜索范围

IVF(Inverted File)先把向量空间划分为多个聚类单元,查询时只搜索最相关的一部分单元。这样能显著减少实际参与距离计算的向量数量,但可能漏掉落在其他单元中的真实近邻。

IVF 检索把全量向量划分为多个聚类单元,并只探测与查询最接近的若干单元

IVF 索引必须先训练聚类中心,再添加物品向量。nlist 决定聚类单元数量,nprobe 决定每次查询探测多少个单元。通常 nprobe 越大,召回率越高,但延迟也越高。

python
import time
import numpy as np
import faiss

rng = np.random.default_rng(42)
dimension = 64
item_count = 50_000
query_count = 200
topk = 20
nlist = 256
nprobe = 16

items = rng.normal(size=(item_count, dimension)).astype("float32")
queries = rng.normal(size=(query_count, dimension)).astype("float32")
faiss.normalize_L2(items)
faiss.normalize_L2(queries)

flat_index = faiss.IndexFlatIP(dimension)
flat_index.add(items)
_, exact_ids = flat_index.search(queries, topk)

quantizer = faiss.IndexFlatIP(dimension)
ivf_index = faiss.IndexIVFFlat(
    quantizer,
    dimension,
    nlist,
    faiss.METRIC_INNER_PRODUCT,
)
ivf_index.train(items)
ivf_index.add(items)
ivf_index.nprobe = nprobe

start = time.perf_counter()
_, approx_ids = ivf_index.search(queries, topk)
elapsed_ms = (time.perf_counter() - start) * 1000

hits = sum(
    len(set(exact_ids[i]) & set(approx_ids[i]))
    for i in range(query_count)
)
recall_at_k = hits / (query_count * topk)

print("trained:", ivf_index.is_trained)
print("ntotal:", ivf_index.ntotal)
print("recall@20:", round(recall_at_k, 4))
print("avg latency ms:", round(elapsed_ms / query_count, 3))

预期输出

text
trained: True
ntotal: 50000
recall@20: <VALUE>
avg latency ms: <TIME>

<VALUE> 与 <TIME> 都可能因数据分布和运行环境不同而变化。只要索引训练、添加和查询成功,实验就可以继续用于参数比较。

用统一指标比较配置

只看平均延迟容易掩盖问题。线上召回应同时观察三类指标:效果用 Recall@K,性能用 P50/P95/P99 延迟,资源用索引大小或进程内存。

Recall@K 可以写成:

Recall@K=∣Rexact@K∩Rapprox@K∣K\mathrm{Recall@K}=\frac{|R_{exact}@K \cap R_{approx}@K|}{K}

其中精确索引返回的 TopK 作为参考集合。若有业务标注,也可以改为“真实点击物品是否进入候选集”这类离线召回指标。

下面的调参代码固定 nlist,逐步增大 nprobe,直接观察效果与延迟变化。

python
import time

for nprobe in [1, 4, 8, 16, 32, 64]:
    ivf_index.nprobe = nprobe
    start = time.perf_counter()
    _, ids = ivf_index.search(queries, topk)
    elapsed_ms = (time.perf_counter() - start) * 1000

    hits = sum(
        len(set(exact_ids[i]) & set(ids[i]))
        for i in range(query_count)
    )
    recall = hits / (query_count * topk)
    avg_ms = elapsed_ms / query_count

    print(
        f"nprobe={nprobe:>2} "
        f"recall@{topk}={recall:.4f} "
        f"avg_ms={avg_ms:.3f}"
    )

预期输出

text
nprobe= 1 recall@20=<VALUE> avg_ms=<TIME>
nprobe= 4 recall@20=<VALUE> avg_ms=<TIME>
nprobe= 8 recall@20=<VALUE> avg_ms=<TIME>
nprobe=16 recall@20=<VALUE> avg_ms=<TIME>
nprobe=32 recall@20=<VALUE> avg_ms=<TIME>
nprobe=64 recall@20=<VALUE> avg_ms=<TIME>

通常会看到 nprobe 增大时召回率上升,同时查询成本增加。不要把某个固定值当成“标准答案”,而应在自己的向量分布、硬件和目标 SLA 上找拐点。

索引参数怎么落到线上

nlist 过小,会让每个聚类包含太多向量,单次探测仍然昂贵;nlist 过大,则训练成本、中心查找成本和小数据集下的不稳定性都会上升。实际调参时,应先确定数据规模和延迟预算,再围绕 Recall@K 目标逐步扩大搜索范围。

如果物品库规模不大,IndexFlatIP 往往最简单可靠;规模上升且延迟开始不可接受时,再用 IVF、HNSW 或量化索引换取性能。最终选择不取决于“哪个索引更高级”,而取决于在业务召回率目标下,哪个配置能稳定满足线上延迟和资源预算。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 FAISS 建近似近邻索引

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通