大模型应用开发 / 系统课时

设计文档数据模型

设计文档数据模型

本课解决知识库中文档数据结构不统一的问题,通过设计标准化模型保存文档标识、内容、来源和访问属性,为解析、检索和更新流程提供稳定的数据交换格式。

学习目标

  • 理解知识库文档模型需要保存的核心字段。
  • 掌握设计可扩展文档数据结构的方法。
  • 能够定义基础文档对象并验证数据格式。

确定文档模型的核心信息

RAG 知识库中的文档不仅包含正文,还需要记录来源和管理信息。正文用于后续切分和向量化,元数据用于过滤、追踪和权限控制。

一个基础文档对象通常包含唯一标识、标题、正文、来源、更新时间和访问属性。字段设计应兼顾当前检索需求和未来扩展能力。

定义统一数据格式

可以使用 JSON 作为不同模块之间的数据交换格式。

json
{
  "id": "doc-<ID>",
  "title": "RAG 入门文档",
  "content": "文档正文内容",
  "source": "internal-wiki",
  "updatedAt": "<TIME>",
  "access": "team"
}

预期结果

text
文档对象包含唯一标识、正文和可检索元数据,可被解析模块继续处理。

设计字段扩展策略

文档模型不应只满足当前页面展示需求,还要考虑后续能力。例如增加标签字段可以支持分类过滤,增加版本字段可以支持文档更新追踪,增加权限字段可以支持多用户访问控制。

字段命名需要保持稳定。已经进入向量库的数据如果频繁修改结构,会增加迁移成本,因此应提前规划核心字段。

验证数据模型

在进入解析流程前,可以通过简单程序检查必填字段是否存在。

python
document = {
    "id": "doc-<ID>",
    "content": "example content"
}

required_fields = ["id", "content"]
missing = [field for field in required_fields if field not in document]

if missing:
    raise ValueError(missing)

print("document valid")

预期输出

text
document valid
按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

设计文档数据模型

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通