大模型应用开发 / 系统课时
处理敏感信息
处理敏感信息
本课解决 RAG 知识库中敏感数据泄露的问题,学习如何在文档接入、检索返回和答案生成阶段识别敏感字段,并通过脱敏、阻断和审计降低数据风险。
学习目标
- 理解 RAG 数据流中的敏感信息暴露位置。
- 掌握常见字段检测和脱敏方法。
- 能够设计敏感数据访问控制流程。
定位敏感信息泄露位置
RAG 系统中的敏感信息可能出现在多个阶段,包括原始文档上传、文本切片、向量存储、检索结果以及最终模型回答。
只保护数据库是不够的,因为向量库中的内容经过检索后仍可能进入模型上下文并被重新表达。
建立敏感信息处理流程
一个基础治理流程如下:
text
文档接入
↓
敏感字段检测
↓
脱敏或阻断
↓
向量化存储
↓
权限校验
↓
答案生成与审计预期结果
text
敏感数据在进入模型前完成识别,未授权用户无法获得原始内容。处理策略通常分为三类:脱敏、拒绝存储和访问控制。公开知识可以保留,个人身份信息等字段可以替换为占位符,高风险数据则应禁止进入知识库。
使用规则识别敏感字段
简单场景可以使用正则表达式检测固定格式字段,例如邮箱、手机号或身份证号码。
python
import re
text = "联系邮箱是 user@example.com"
email_pattern = r"[\w.-]+@[\w.-]+\.\w+"
masked = re.sub(email_pattern, "<EMAIL>", text)
print(masked)预期输出
text
联系邮箱是 <EMAIL>生产环境通常需要结合实体识别模型、字段标签和业务规则,因为敏感信息可能存在不同格式或上下文含义。
控制答案返回内容
即使知识库已经完成清洗,模型生成阶段仍需要进行输出检查。例如,回答中出现身份证号、内部地址或未授权项目名称时,应触发二次过滤。
可以在生成链路中增加安全审核步骤:模型生成候选答案后,先经过敏感信息扫描,再决定是否返回给用户。
建立审计与追踪机制
企业级 RAG 系统需要记录数据访问过程,包括用户身份、查询内容、使用的文档来源以及最终响应结果。
审计日志可以帮助定位数据泄露原因,也能支持后续权限调整和合规检查。
按自己的节奏,确认真正理解。