大模型应用开发 / 系统课时
实现递归字符切分
实现递归字符切分
递归字符切分是一种常用的文本预处理方法,它按照段落、句子、字符等多个层级逐步拆分内容,在控制片段长度的同时尽量保持语义完整。本节将实现一个基础版本,并验证切分后的片段范围。
学习目标
- 理解递归切分中多级分隔符的工作方式。
- 使用代码实现可控制长度和重叠的文本切分器。
- 验证切分结果是否满足知识库入库要求。
递归切分的核心思路
递归字符切分不会一开始就按字符截断,而是先尝试较大的语义单位。如果当前片段超过限制,就继续使用更细粒度的分隔符拆分。典型顺序如下:
- 优先按照段落分割。
- 段落仍然过长时按照句子分割。
- 单句仍然超长时按照字符限制截断。
这种方式可以让短文本保持自然结构,让长文本仍然能够满足向量检索要求。
编写递归切分函数
下面示例实现一个简化版本的递归切分器。代码通过多个分隔符逐层处理文本,并保留指定范围的重叠内容。
python
def split_text(text, separators, chunk_size, overlap):
if len(text) <= chunk_size:
return [text]
separator = separators[0]
parts = text.split(separator) if separator else list(text)
chunks = []
current = ""
for part in parts:
candidate = current + separator + part if current else part
if len(candidate) <= chunk_size:
current = candidate
else:
chunks.append(current)
# 保留尾部内容作为下一片段上下文
current = current[-overlap:] + separator + part
if current:
chunks.append(current)
return chunks
text = "第一段内容。第二段内容。第三段内容。"
chunks = split_text(text, ["\n\n", "。", ""], 20, 5)
print(chunks)预期输出
text
['第一段内容。第二段内容。', '内容。第三段内容。']实际输出会受到输入文本长度和分隔符位置影响,上述结果用于验证切分流程。
验证片段长度与重叠范围
生成片段后,需要检查每个片段是否满足长度限制,并确认相邻片段之间存在预期重叠。
python
chunks = ["abcdef", "efghij"]
chunk_size = 6
for index, chunk in enumerate(chunks):
print(index, len(chunk), chunk)预期输出
text
0 6 abcdef
1 6 efghij验证阶段可以进一步统计平均长度、最大长度和重复比例,为后续调整切分参数提供依据。
在 RAG 项目中的应用
实际知识库通常不会直接使用单一切分规则,而是根据内容类型配置参数。例如代码文档需要保护代码块完整性,产品说明需要保持标题和描述关联,客服知识需要保留问答结构。
切分完成后,每个片段通常会进入向量化流程,同时附带来源文件、章节路径、更新时间等元数据,方便后续过滤和溯源。
常见问题处理
如果召回结果经常缺少上下文,可以适当增加 chunk_size 或 overlap。如果搜索结果包含大量无关内容,则需要减少片段长度或增强语义边界控制。
切分参数不存在通用最优值,应通过真实查询集测试召回质量,而不是只观察入库数量。
按自己的节奏,确认真正理解。