大模型应用开发 / 系统课时
实现元数据过滤
实现元数据过滤
本课解决 RAG 检索中如何根据文档属性缩小搜索范围的问题。通过元数据过滤,可以让系统先判断知识分类、权限和时间等条件,再执行向量召回,减少无效候选片段。
学习目标
- 理解元数据在 RAG 检索链路中的作用
- 掌握常见过滤条件的设计方式
- 能够实现带过滤条件的候选片段查询
认识元数据过滤
向量相似度只能判断文本语义接近程度,但无法理解业务限制。例如用户只能查看某部门文档,或者只需要查询最新版本资料,这些条件需要通过元数据表达。
常见元数据包括文档类型、所属分类、创建时间、版本、租户和访问权限等。
设计过滤字段
过滤字段应该服务于实际查询场景,避免保存无法参与检索决策的冗余信息。字段名称需要稳定,值格式需要统一。例如一个知识片段可以附带如下属性:
json
{
"content": "API 鉴权配置说明",
"metadata": {
"category": "backend",
"type": "manual",
"year": 2026,
"permission": "developer"
}
}预期结果
text
文档片段包含正文内容,并携带 category、type、year、permission 四个过滤字段。执行带条件检索
实际向量数据库通常会先根据 filter 条件筛选候选集合,再计算向量距离。这样可以减少参与相似度计算的数据量,也避免返回无权限内容。下面展示一个简单过滤流程:
python
def search_documents(query_role, documents):
# 先过滤权限匹配的文档,再交给向量检索模块
candidates = [
doc for doc in documents
if doc["metadata"]["permission"] == query_role
]
return candidates
items = [
{"id": "a", "metadata": {"permission": "developer"}},
{"id": "b", "metadata": {"permission": "admin"}}
]
print(search_documents("developer", items))预期输出
text
[{'id': 'a', 'metadata': {'permission': 'developer'}}]处理过滤边界
元数据过滤过严可能导致没有候选结果,因此需要设计降级策略。例如时间范围过小没有数据时,可以扩大时间范围;权限过滤失败时,应返回明确提示,而不是生成猜测答案。
同时要注意过滤条件和索引设计匹配。高频过滤字段应优先建立可快速查询的结构,避免每次检索都扫描大量无关数据。
按自己的节奏,确认真正理解。