大模型应用开发 / 系统课时
设计文档数据模型
设计文档数据模型
本课解决知识库中文档数据结构不统一的问题,通过设计标准化模型保存文档标识、内容、来源和访问属性,为解析、检索和更新流程提供稳定的数据交换格式。
学习目标
- 理解知识库文档模型需要保存的核心字段。
- 掌握设计可扩展文档数据结构的方法。
- 能够定义基础文档对象并验证数据格式。
确定文档模型的核心信息
RAG 知识库中的文档不仅包含正文,还需要记录来源和管理信息。正文用于后续切分和向量化,元数据用于过滤、追踪和权限控制。
一个基础文档对象通常包含唯一标识、标题、正文、来源、更新时间和访问属性。字段设计应兼顾当前检索需求和未来扩展能力。
定义统一数据格式
可以使用 JSON 作为不同模块之间的数据交换格式。
json
{
"id": "doc-<ID>",
"title": "RAG 入门文档",
"content": "文档正文内容",
"source": "internal-wiki",
"updatedAt": "<TIME>",
"access": "team"
}预期结果
text
文档对象包含唯一标识、正文和可检索元数据,可被解析模块继续处理。设计字段扩展策略
文档模型不应只满足当前页面展示需求,还要考虑后续能力。例如增加标签字段可以支持分类过滤,增加版本字段可以支持文档更新追踪,增加权限字段可以支持多用户访问控制。
字段命名需要保持稳定。已经进入向量库的数据如果频繁修改结构,会增加迁移成本,因此应提前规划核心字段。
验证数据模型
在进入解析流程前,可以通过简单程序检查必填字段是否存在。
python
document = {
"id": "doc-<ID>",
"content": "example content"
}
required_fields = ["id", "content"]
missing = [field for field in required_fields if field not in document]
if missing:
raise ValueError(missing)
print("document valid")预期输出
text
document valid按自己的节奏,确认真正理解。