大模型应用开发 / 系统课时

连接业务数据源

连接业务数据源

把数据库表或业务接口直接“整包”送进向量库,很容易把邮箱、手机号、内部备注等敏感字段一起写入索引。本节建立一条更安全的导入路径:先限制可读取字段,再把允许暴露的数据转换成统一知识文档。

学习目标

  • 能从数据库查询结果构造最小知识文档。
  • 能用字段白名单阻断敏感信息进入正文和元数据。
  • 能把同样的安全边界应用到业务接口数据。

先确定知识文档边界

RAG 导入层不应该读取业务记录的全部字段,只需要取得检索真正需要的内容。常见文档对象可以只保留 id、text 和少量 metadata;邮箱、手机号、内部备注、访问令牌等内容既不进入正文,也不进入元数据。

数据库场景优先在 SQL 查询阶段只选择允许字段,而不是先执行 SELECT * 再删除。业务接口也应显式映射允许字段,不要直接序列化完整响应。这样即使上游以后增加敏感字段,导入程序也不会自动把它们带进知识库。

业务数据源到知识文档的安全转换链路

从数据库结果构造文档

下面使用 Python 标准库 sqlite3 模拟业务数据库。数据表包含客户邮箱,但查询语句只读取知识化需要的四个字段,再转换为统一文档结构。

python
import json
import sqlite3


def build_document(row):
    ticket_id, product, symptom, resolution = row
    return {
        "id": f"ticket-{ticket_id}",
        "text": f"产品:{product}\n问题现象:{symptom}\n处理方案:{resolution}",
        "metadata": {
            "source": "support_ticket",
            "product": product,
        },
    }


def main():
    conn = sqlite3.connect(":memory:")
    conn.execute(
        "CREATE TABLE support_ticket (id INTEGER PRIMARY KEY, product TEXT, symptom TEXT, resolution TEXT, customer_email TEXT)"
    )
    conn.execute(
        "INSERT INTO support_ticket (product, symptom, resolution, customer_email) VALUES (?, ?, ?, ?)",
        ("CloudBox", "上传大文件后超时", "启用分片上传并重试失败分片", "user@example.com"),
    )

    # 查询阶段只读取允许进入知识库的字段。
    row = conn.execute(
        "SELECT id, product, symptom, resolution FROM support_ticket"
    ).fetchone()

    print(json.dumps(build_document(row), ensure_ascii=False, indent=2))
    conn.close()


if __name__ == "__main__":
    main()

预期输出:

text
{
  "id": "ticket-1",
  "text": "产品:CloudBox\n问题现象:上传大文件后超时\n处理方案:启用分片上传并重试失败分片",
  "metadata": {
    "source": "support_ticket",
    "product": "CloudBox"
  }
}

输出中不存在 customer_email,说明敏感字段没有进入正文或元数据。生产环境可以进一步为导入程序建立字段白名单测试,发现禁止字段时直接终止任务,而不是依赖人工抽查。

接入业务接口时保持同一原则

接口返回的数据往往比数据库查询更宽,因此同样不能直接把整个响应对象转换成文档。转换层应逐字段读取允许内容,例如只取 id、title、solution,未知字段默认丢弃;如果接口返回嵌套的用户对象,也不要顺手放入 metadata。

如果知识内容存在租户或用户级权限,还需要在导入时保留可用于授权过滤的最小权限标识,并在检索阶段强制过滤。脱敏解决的是“什么不能进入知识库”,权限过滤解决的是“已经进入的内容谁可以检索”,两者不能互相替代。

验证导入前的安全边界

进入切分和向量化之前,至少检查查询或接口映射是否只包含白名单字段、正文是否残留邮箱或令牌模式、元数据是否携带不必要的用户属性。还应抽样查看最终文档,而不是只检查原始查询结果。

把“连接数据源”理解为受控的数据转换边界,而不是简单搬运数据,可以从入口处降低敏感信息泄露风险,也让后续切分、索引和权限过滤建立在更干净的数据基础上。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

连接业务数据源

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通