大模型应用开发 / 系统课时

实现结构化文档切分

实现结构化文档切分

本节介绍如何根据 Markdown 标题、章节层级和列表边界切分文档,让 RAG 知识库中的片段既满足检索粒度,又保留原始内容所属路径,方便模型理解上下文关系。

学习目标

  • 理解结构化文档切分相比固定长度切分的优势
  • 掌握基于 Markdown 层级生成文本片段的方法
  • 能够设计包含章节路径的文档元数据结构

为什么需要结构化切分

普通文本切分通常按照字符数或 Token 数截断,但技术文档往往具有明显结构。例如一个配置说明可能包含“安装”“配置”“排错”等章节,如果直接截断,片段可能只剩参数说明,却丢失所属章节信息。

结构化切分的目标不是简单拆开文本,而是在保持语义完整性的前提下生成可检索单元。每个片段除了正文内容,还应携带标题路径、文档来源等元数据。

根据 Markdown 层级生成片段

Markdown 文档中的标题天然表示章节关系。切分时可以维护当前标题栈,将一级、二级、三级标题组合成章节路径。当遇到新的内容边界时,把当前路径写入片段元数据。例如:

markdown
# Docker 部署

## 网络配置

### 端口映射

容器通过 -p 参数暴露服务端口。

切分后片段可以记录路径:Docker 部署 > 网络配置 > 端口映射。一个简单实现如下:

python
from dataclasses import dataclass

@dataclass
class Chunk:
    content: str
    path: list[str]

def split_markdown(lines):
    stack = []
    chunks = []
    buffer = []

    for line in lines:
        if line.startswith("#"):
            if buffer:
                chunks.append(Chunk("\n".join(buffer), stack.copy()))
                buffer = []

            level = len(line) - len(line.lstrip("#"))
            title = line[level:].strip()
            stack = stack[:level - 1]
            stack.append(title)
        else:
            buffer.append(line)

    if buffer:
        chunks.append(Chunk("\n".join(buffer), stack.copy()))

    return chunks

预期输出

text
Chunk(content='容器通过 -p 参数暴露服务端口。', path=['Docker 部署', '网络配置', '端口映射'])

处理列表和自然边界

标题不是唯一边界。技术文档中的列表、代码说明、步骤流程通常也需要保持完整。例如一个安装步骤列表如果被拆开,用户可能无法执行其中任意一段。实际项目中可以结合多种规则:

  • 优先按照标题切分
  • 标题内部超过长度限制时,再按照段落或列表边界拆分
  • 代码块和列表整体视为不可分割区域

这样生成的片段更适合后续向量检索。

设计片段元数据

RAG 检索不仅依赖文本内容,还依赖元数据过滤。结构化切分后,可以保存如下信息:

字段 作用
title_path 当前章节路径
source 原始文档来源
chunk_index 片段顺序
content_type 文档类型

这些信息可以帮助检索阶段缩小范围,也方便生成回答时引用上下文。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

实现结构化文档切分

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通