大模型应用开发 / 系统课时

配置元数据过滤

配置元数据过滤

元数据过滤的目标不是“搜得更多”,而是在检索阶段限制候选范围,避免把无权限、过期或不属于当前知识域的片段送入生成模型。配置完成后,候选结果应同时满足语义相关性和业务约束。

学习目标

  • 能把知识库、时间、部门、文档类型和权限标识转换为可执行过滤条件
  • 能区分固定过滤条件与来自用户上下文的动态过滤条件
  • 能验证过滤是否真正作用于候选片段,而不是只在展示层隐藏结果

定义可过滤的元数据

每个知识片段都应保存稳定、可检索的字段。字段命名要统一,时间使用可排序格式,权限不要只存自然语言说明。常见字段包括 kb_id、updated_at、department、doc_type 和 acl。

过滤条件通常来自两部分:业务请求中的显式条件,例如“只查研发部手册”;以及认证上下文中的隐式条件,例如当前用户只能访问 employee 和 rd 权限组。后者必须由服务端生成,不能交给模型或前端自行决定。

元数据过滤从用户上下文到候选片段的处理链路

组合过滤条件

下面用一组内存数据模拟过滤器。实际接入向量数据库时,应尽可能把条件下推到数据库或检索引擎,而不是先召回大量片段再由应用层删除。

python
from datetime import datetime

chunks = [
    {
        "text": "研发部 API 规范",
        "metadata": {
            "kb_id": "engineering",
            "updated_at": "2026-08-20",
            "department": "rd",
            "doc_type": "guide",
            "acl": ["employee", "rd"],
        },
    },
    {
        "text": "财务报销制度",
        "metadata": {
            "kb_id": "company",
            "updated_at": "2026-08-25",
            "department": "finance",
            "doc_type": "policy",
            "acl": ["employee", "finance"],
        },
    },
    {
        "text": "旧版研发手册",
        "metadata": {
            "kb_id": "engineering",
            "updated_at": "2025-01-10",
            "department": "rd",
            "doc_type": "guide",
            "acl": ["employee", "rd"],
        },
    },
]

def allowed(chunk, filters):
    meta = chunk["metadata"]
    if meta["kb_id"] != filters["kb_id"]:
        return False
    if meta["department"] != filters["department"]:
        return False
    if meta["doc_type"] != filters["doc_type"]:
        return False
    if datetime.fromisoformat(meta["updated_at"]) < filters["updated_after"]:
        return False
    if not set(meta["acl"]).intersection(filters["user_acl"]):
        return False
    return True

filters = {
    "kb_id": "engineering",
    "department": "rd",
    "doc_type": "guide",
    "updated_after": datetime.fromisoformat("2026-01-01"),
    "user_acl": {"employee", "rd"},
}

print([item["text"] for item in chunks if allowed(item, filters)])

预期输出

text
['研发部 API 规范']

结果表明五类约束被同时执行:财务文档因知识域和部门不匹配被排除,旧版研发手册因时间条件不满足被排除,最终只保留当前用户可访问且仍在有效时间范围内的研发文档。

把权限过滤视为安全边界

权限条件必须由后端根据已认证身份生成,不能直接相信前端传入的 acl、department 或 user_id。否则攻击者可以修改请求参数扩大检索范围,即使最终答案看起来正常,也已经发生越权召回。

当一个用户属于多个权限组时,常见规则是“命中任一允许组即可访问”;如果业务要求同时满足部门和项目权限,就要明确编码 AND 与 OR 的组合,避免不同服务各自解释。

验证过滤是否生效

验证时不要只看最终回答,要直接检查检索器返回的候选元数据。构造至少一条“语义很相关但无权限”的文档,以及一条“有权限但时间过期”的文档;如果它们仍出现在候选列表,说明过滤没有真正下推或条件组合有误。

生产环境还可记录本次检索使用了哪些过滤维度、过滤前后候选数量以及命中的知识库标识,但日志中不要记录敏感 ACL 全量内容。元数据过滤配置正确时,RAG 会先缩小到符合业务边界的集合,再在这个范围内按相关性排序。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

配置元数据过滤

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通