大模型应用开发 / 系统课时
实现结构化文档切分
实现结构化文档切分
本节介绍如何根据 Markdown 标题、章节层级和列表边界切分文档,让 RAG 知识库中的片段既满足检索粒度,又保留原始内容所属路径,方便模型理解上下文关系。
学习目标
- 理解结构化文档切分相比固定长度切分的优势
- 掌握基于 Markdown 层级生成文本片段的方法
- 能够设计包含章节路径的文档元数据结构
为什么需要结构化切分
普通文本切分通常按照字符数或 Token 数截断,但技术文档往往具有明显结构。例如一个配置说明可能包含“安装”“配置”“排错”等章节,如果直接截断,片段可能只剩参数说明,却丢失所属章节信息。
结构化切分的目标不是简单拆开文本,而是在保持语义完整性的前提下生成可检索单元。每个片段除了正文内容,还应携带标题路径、文档来源等元数据。
根据 Markdown 层级生成片段
Markdown 文档中的标题天然表示章节关系。切分时可以维护当前标题栈,将一级、二级、三级标题组合成章节路径。当遇到新的内容边界时,把当前路径写入片段元数据。例如:
markdown
# Docker 部署
## 网络配置
### 端口映射
容器通过 -p 参数暴露服务端口。切分后片段可以记录路径:Docker 部署 > 网络配置 > 端口映射。一个简单实现如下:
python
from dataclasses import dataclass
@dataclass
class Chunk:
content: str
path: list[str]
def split_markdown(lines):
stack = []
chunks = []
buffer = []
for line in lines:
if line.startswith("#"):
if buffer:
chunks.append(Chunk("\n".join(buffer), stack.copy()))
buffer = []
level = len(line) - len(line.lstrip("#"))
title = line[level:].strip()
stack = stack[:level - 1]
stack.append(title)
else:
buffer.append(line)
if buffer:
chunks.append(Chunk("\n".join(buffer), stack.copy()))
return chunks预期输出
text
Chunk(content='容器通过 -p 参数暴露服务端口。', path=['Docker 部署', '网络配置', '端口映射'])处理列表和自然边界
标题不是唯一边界。技术文档中的列表、代码说明、步骤流程通常也需要保持完整。例如一个安装步骤列表如果被拆开,用户可能无法执行其中任意一段。实际项目中可以结合多种规则:
- 优先按照标题切分
- 标题内部超过长度限制时,再按照段落或列表边界拆分
- 代码块和列表整体视为不可分割区域
这样生成的片段更适合后续向量检索。
设计片段元数据
RAG 检索不仅依赖文本内容,还依赖元数据过滤。结构化切分后,可以保存如下信息:
| 字段 | 作用 |
|---|---|
| title_path | 当前章节路径 |
| source | 原始文档来源 |
| chunk_index | 片段顺序 |
| content_type | 文档类型 |
这些信息可以帮助检索阶段缩小范围,也方便生成回答时引用上下文。
按自己的节奏,确认真正理解。