大模型应用开发 / 系统课时

设置片段重叠

设置片段重叠

片段切开后,边界附近的信息最容易丢失:定义在前一句、条件在后一句,检索时却只命中其中一侧。设置少量句子重叠,可以让相邻片段共享关键上下文,同时避免重复内容过多拖高索引与检索成本。

学习目标

  • 理解片段重叠为什么能降低边界截断造成的信息损失
  • 能按句子数量设置可控的重叠窗口
  • 能根据句子长度和知识连续性调整重叠范围

重叠解决什么问题

假设第一段结尾写“上下文长度受模型窗口限制”,下一段开头写“因此片段不能无限增大”。如果两句被分到完全独立的片段里,单独命中第二段时,“因此”指向的原因就可能丢失。

重叠的做法是让下一片段带上上一片段末尾的一小部分内容。这样,边界两侧的定义、条件、指代和因果关系更可能同时进入检索结果,但又不需要复制整段正文。

相邻片段共享边界句子的重叠关系

按句子设置重叠

下面用固定句子数演示重叠。每个片段最多包含 3 句,相邻片段共享 1 句,因此第二个片段会从第一个片段的最后一句重新开始。

python
sentences = [
    "RAG 先检索与问题相关的片段。",
    "检索结果会和用户问题一起组成上下文。",
    "上下文长度受模型窗口限制。",
    "因此片段不能无限增大。",
    "适度重叠可以保留跨边界语义。",
]

def chunk_with_overlap(sentences, chunk_size=3, overlap=1):
    if chunk_size <= 0:
        raise ValueError("chunk_size 必须大于 0")
    if overlap < 0 or overlap >= chunk_size:
        raise ValueError("overlap 必须满足 0 <= overlap < chunk_size")

    step = chunk_size - overlap
    chunks = []

    for start in range(0, len(sentences), step):
        chunk = sentences[start:start + chunk_size]
        if chunk:
            chunks.append("".join(chunk))
        if start + chunk_size >= len(sentences):
            break

    return chunks

for index, chunk in enumerate(chunk_with_overlap(sentences), 1):
    print(f"chunk {index}: {chunk}")

预期输出

text
chunk 1: RAG 先检索与问题相关的片段。检索结果会和用户问题一起组成上下文。上下文长度受模型窗口限制。
chunk 2: 上下文长度受模型窗口限制。因此片段不能无限增大。适度重叠可以保留跨边界语义。

共享的第三句让“窗口限制”和后面的“因此”保持在同一片段中。这里的 overlap=1 表示重叠 1 个句子,而不是 1 个字符;对于自然语言文档,这种边界通常比硬截字符更容易保住完整语义。

根据句子长度调范围

重叠不应只看固定比例,还要看句子长度和知识连续性。句子很短、跨句指代很多时,可以重叠 1~2 句;单句很长时,即使只重叠 1 句,也可能复制大量 token,此时更适合改成按 token 预算控制重叠。

还要观察知识是否在边界处连续。如果上一句只是段落结束语,重复价值很低;如果它包含定义、前置条件、公式前提或实体全称,保留到下一片段通常更有价值。也就是说,重叠范围应服务于“保住必要上下文”,而不是追求固定百分比。

避免重叠过大

重叠越大,边界信息越安全,但重复内容也越多。它会增加向量条目中的冗余,可能让检索结果出现多个高度相似片段,还会占用更多上下文窗口,挤压真正互补的信息。

一个实用起点是先让相邻片段共享 1 个完整句子,再用真实查询检查边界知识是否仍被截断。只有当错误确实来自上下文断裂时再增加重叠;若问题来自片段过大、主题混杂或检索模型不匹配,应分别调整切分策略或检索策略。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

设置片段重叠

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通