大模型应用开发 / 系统课时

实现递归字符切分

实现递归字符切分

递归字符切分是一种常用的文本预处理方法,它按照段落、句子、字符等多个层级逐步拆分内容,在控制片段长度的同时尽量保持语义完整。本节将实现一个基础版本,并验证切分后的片段范围。

学习目标

  • 理解递归切分中多级分隔符的工作方式。
  • 使用代码实现可控制长度和重叠的文本切分器。
  • 验证切分结果是否满足知识库入库要求。

递归切分的核心思路

递归字符切分不会一开始就按字符截断,而是先尝试较大的语义单位。如果当前片段超过限制,就继续使用更细粒度的分隔符拆分。典型顺序如下:

  1. 优先按照段落分割。
  2. 段落仍然过长时按照句子分割。
  3. 单句仍然超长时按照字符限制截断。

这种方式可以让短文本保持自然结构,让长文本仍然能够满足向量检索要求。

编写递归切分函数

下面示例实现一个简化版本的递归切分器。代码通过多个分隔符逐层处理文本,并保留指定范围的重叠内容。

python
def split_text(text, separators, chunk_size, overlap):
    if len(text) <= chunk_size:
        return [text]

    separator = separators[0]
    parts = text.split(separator) if separator else list(text)
    chunks = []
    current = ""

    for part in parts:
        candidate = current + separator + part if current else part
        if len(candidate) <= chunk_size:
            current = candidate
        else:
            chunks.append(current)
            # 保留尾部内容作为下一片段上下文
            current = current[-overlap:] + separator + part

    if current:
        chunks.append(current)

    return chunks

text = "第一段内容。第二段内容。第三段内容。"
chunks = split_text(text, ["\n\n", "。", ""], 20, 5)
print(chunks)

预期输出

text
['第一段内容。第二段内容。', '内容。第三段内容。']

实际输出会受到输入文本长度和分隔符位置影响,上述结果用于验证切分流程。

验证片段长度与重叠范围

生成片段后,需要检查每个片段是否满足长度限制,并确认相邻片段之间存在预期重叠。

python
chunks = ["abcdef", "efghij"]
chunk_size = 6

for index, chunk in enumerate(chunks):
    print(index, len(chunk), chunk)

预期输出

text
0 6 abcdef
1 6 efghij

验证阶段可以进一步统计平均长度、最大长度和重复比例,为后续调整切分参数提供依据。

在 RAG 项目中的应用

实际知识库通常不会直接使用单一切分规则,而是根据内容类型配置参数。例如代码文档需要保护代码块完整性,产品说明需要保持标题和描述关联,客服知识需要保留问答结构。

切分完成后,每个片段通常会进入向量化流程,同时附带来源文件、章节路径、更新时间等元数据,方便后续过滤和溯源。

常见问题处理

如果召回结果经常缺少上下文,可以适当增加 chunk_size 或 overlap。如果搜索结果包含大量无关内容,则需要减少片段长度或增强语义边界控制。

切分参数不存在通用最优值,应通过真实查询集测试召回质量,而不是只观察入库数量。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

实现递归字符切分

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通