大模型应用开发 / 系统课时

实现元数据过滤

实现元数据过滤

本课解决 RAG 检索中如何根据文档属性缩小搜索范围的问题。通过元数据过滤,可以让系统先判断知识分类、权限和时间等条件,再执行向量召回,减少无效候选片段。

学习目标

  • 理解元数据在 RAG 检索链路中的作用
  • 掌握常见过滤条件的设计方式
  • 能够实现带过滤条件的候选片段查询

认识元数据过滤

向量相似度只能判断文本语义接近程度,但无法理解业务限制。例如用户只能查看某部门文档,或者只需要查询最新版本资料,这些条件需要通过元数据表达。

常见元数据包括文档类型、所属分类、创建时间、版本、租户和访问权限等。

设计过滤字段

过滤字段应该服务于实际查询场景,避免保存无法参与检索决策的冗余信息。字段名称需要稳定,值格式需要统一。例如一个知识片段可以附带如下属性:

json
{
  "content": "API 鉴权配置说明",
  "metadata": {
    "category": "backend",
    "type": "manual",
    "year": 2026,
    "permission": "developer"
  }
}

预期结果

text
文档片段包含正文内容,并携带 category、type、year、permission 四个过滤字段。

执行带条件检索

实际向量数据库通常会先根据 filter 条件筛选候选集合,再计算向量距离。这样可以减少参与相似度计算的数据量,也避免返回无权限内容。下面展示一个简单过滤流程:

python
def search_documents(query_role, documents):
    # 先过滤权限匹配的文档,再交给向量检索模块
    candidates = [
        doc for doc in documents
        if doc["metadata"]["permission"] == query_role
    ]
    return candidates

items = [
    {"id": "a", "metadata": {"permission": "developer"}},
    {"id": "b", "metadata": {"permission": "admin"}}
]

print(search_documents("developer", items))

预期输出

text
[{'id': 'a', 'metadata': {'permission': 'developer'}}]

处理过滤边界

元数据过滤过严可能导致没有候选结果,因此需要设计降级策略。例如时间范围过小没有数据时,可以扩大时间范围;权限过滤失败时,应返回明确提示,而不是生成猜测答案。

同时要注意过滤条件和索引设计匹配。高频过滤字段应优先建立可快速查询的结构,避免每次检索都扫描大量无关数据。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

实现元数据过滤

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通