大模型应用开发 / 系统课时
理解文本切分策略
理解文本切分策略
文本切分决定了 RAG 知识库中每个检索单元的大小和边界,直接影响召回内容是否准确以及模型上下文是否浪费。本节将分析长度、重叠窗口和语义边界之间的关系,帮助你选择适合业务数据的切分方案。
学习目标
- 理解文本片段大小对检索和生成效果的影响。
- 掌握重叠窗口设计的作用与常见取值方式。
- 能够根据文档类型选择合适的切分策略。
为什么需要设计切分策略
RAG 系统不会直接把整篇文档发送给模型,而是先将文档拆分成多个片段,再通过向量检索找到相关内容。如果切分过大,单个片段包含过多无关信息,会增加上下文成本;如果切分过小,关键语义可能被拆散,导致检索结果缺少完整信息。
一个好的切分策略需要同时平衡三个目标:检索相关性、模型上下文利用率以及知识完整性。不同类型的数据,例如产品手册、代码文档和聊天记录,对片段边界的要求并不相同。
片段长度对召回效果的影响
片段长度通常以字符数、Token 数或句子数量衡量。较大的片段可以保留更多上下文,但向量表示会混入更多主题;较小的片段语义更集中,但容易丢失前后关联。
例如,一篇 API 文档中一个接口的参数说明和返回值说明通常需要一起保留。如果拆分位置刚好位于两者之间,模型可能只能检索到参数,却无法理解完整调用方式。
常见策略是先确定模型上下文窗口,再预留回答生成空间。例如:
context_window = 4096
answer_budget = 1024
chunk_budget = context_window - answer_budget
print(chunk_budget)预期输出
3072实际项目中还需要根据 Token 化结果调整,而不是简单按照字符数量固定切分。
重叠窗口如何保持连续语义
重叠窗口是在相邻片段之间保留部分重复内容。例如一个片段结束位置保留 200 个字符,同时作为下一个片段的开头。
重叠可以降低边界切断带来的信息损失,但过大的重叠会产生重复向量,增加存储成本和检索噪声。通常需要结合文档结构和查询特点调整。
例如教程文章适合较小重叠,因为标题和步骤关系较强;法律合同可能需要更高重叠,以避免条款解释被拆开。
语义边界优先于固定长度
固定长度切分简单稳定,但无法理解文本结构。更好的策略通常是优先按照标题、段落、句子等自然边界切分,在超过目标长度时再继续细分。
例如 Markdown 文档可以按照以下顺序处理:标题 → 段落 → 句子 → 字符。这样既保留章节关系,又能控制最终片段大小。选择策略时可以参考:
| 文档类型 | 优先边界 | 关注点 |
|---|---|---|
| 技术文档 | 标题和代码块 | 保留完整示例 |
| FAQ | 问答单元 | 保持问题与答案完整 |
| 长文章 | 段落和句子 | 避免主题混杂 |