大模型应用开发 / 系统课时
配置元数据过滤
配置元数据过滤
元数据过滤的目标不是“搜得更多”,而是在检索阶段限制候选范围,避免把无权限、过期或不属于当前知识域的片段送入生成模型。配置完成后,候选结果应同时满足语义相关性和业务约束。
学习目标
- 能把知识库、时间、部门、文档类型和权限标识转换为可执行过滤条件
- 能区分固定过滤条件与来自用户上下文的动态过滤条件
- 能验证过滤是否真正作用于候选片段,而不是只在展示层隐藏结果
定义可过滤的元数据
每个知识片段都应保存稳定、可检索的字段。字段命名要统一,时间使用可排序格式,权限不要只存自然语言说明。常见字段包括 kb_id、updated_at、department、doc_type 和 acl。
过滤条件通常来自两部分:业务请求中的显式条件,例如“只查研发部手册”;以及认证上下文中的隐式条件,例如当前用户只能访问 employee 和 rd 权限组。后者必须由服务端生成,不能交给模型或前端自行决定。

组合过滤条件
下面用一组内存数据模拟过滤器。实际接入向量数据库时,应尽可能把条件下推到数据库或检索引擎,而不是先召回大量片段再由应用层删除。
from datetime import datetime
chunks = [
{
"text": "研发部 API 规范",
"metadata": {
"kb_id": "engineering",
"updated_at": "2026-08-20",
"department": "rd",
"doc_type": "guide",
"acl": ["employee", "rd"],
},
},
{
"text": "财务报销制度",
"metadata": {
"kb_id": "company",
"updated_at": "2026-08-25",
"department": "finance",
"doc_type": "policy",
"acl": ["employee", "finance"],
},
},
{
"text": "旧版研发手册",
"metadata": {
"kb_id": "engineering",
"updated_at": "2025-01-10",
"department": "rd",
"doc_type": "guide",
"acl": ["employee", "rd"],
},
},
]
def allowed(chunk, filters):
meta = chunk["metadata"]
if meta["kb_id"] != filters["kb_id"]:
return False
if meta["department"] != filters["department"]:
return False
if meta["doc_type"] != filters["doc_type"]:
return False
if datetime.fromisoformat(meta["updated_at"]) < filters["updated_after"]:
return False
if not set(meta["acl"]).intersection(filters["user_acl"]):
return False
return True
filters = {
"kb_id": "engineering",
"department": "rd",
"doc_type": "guide",
"updated_after": datetime.fromisoformat("2026-01-01"),
"user_acl": {"employee", "rd"},
}
print([item["text"] for item in chunks if allowed(item, filters)])预期输出
['研发部 API 规范']结果表明五类约束被同时执行:财务文档因知识域和部门不匹配被排除,旧版研发手册因时间条件不满足被排除,最终只保留当前用户可访问且仍在有效时间范围内的研发文档。
把权限过滤视为安全边界
权限条件必须由后端根据已认证身份生成,不能直接相信前端传入的 acl、department 或 user_id。否则攻击者可以修改请求参数扩大检索范围,即使最终答案看起来正常,也已经发生越权召回。
当一个用户属于多个权限组时,常见规则是“命中任一允许组即可访问”;如果业务要求同时满足部门和项目权限,就要明确编码 AND 与 OR 的组合,避免不同服务各自解释。
验证过滤是否生效
验证时不要只看最终回答,要直接检查检索器返回的候选元数据。构造至少一条“语义很相关但无权限”的文档,以及一条“有权限但时间过期”的文档;如果它们仍出现在候选列表,说明过滤没有真正下推或条件组合有误。
生产环境还可记录本次检索使用了哪些过滤维度、过滤前后候选数量以及命中的知识库标识,但日志中不要记录敏感 ACL 全量内容。元数据过滤配置正确时,RAG 会先缩小到符合业务边界的集合,再在这个范围内按相关性排序。