大模型应用开发 / 系统课时

按语义边界切分

按语义边界切分

固定字符数切分容易把一个完整主题拦腰截断。语义边界切分把相邻句子的语义变化当成分界信号,让每个片段更接近一个自然主题单元,尤其适合标题层级缺失、段落结构混乱的长文本。

学习目标

  • 理解如何用相邻句子的语义相似度识别主题切换
  • 能根据阈值把连续句子聚合为语义片段
  • 知道阈值、最小片段长度与最大片段长度如何共同约束切分结果

用语义变化代替固定长度

语义切分的核心不是“每隔多少字切一次”,而是先把文本拆成句子,再比较相邻句子的语义相似度。相似度持续较高时,句子通常属于同一主题;当相似度突然跌破阈值时,就把该位置视为候选边界。

常见做法是先用嵌入模型把句子映射成向量,再计算余弦相似度。若相邻句子向量分别为 aa 与 bb,则可用余弦相似度衡量方向接近程度;得分越低,越值得考虑切分。

相邻句子语义相似度触发主题边界

用阈值生成语义片段

下面把“相邻语义相似度”作为输入,演示最小切分逻辑。示例中的分数可以理解为嵌入模型计算后的结果;真正接入模型时,只需替换分数来源,边界判定过程保持不变。

python
sentences = [
    "用户提交问题后,系统先检索相关文档。",
    "检索器会返回与问题最相关的若干片段。",
    "这些片段随后与问题一起交给生成模型。",
    "咖啡豆的烘焙程度会影响酸度与苦味。",
    "浅烘焙通常保留更多果酸与花香。",
]

similarities = [0.86, 0.81, 0.18, 0.77]

def split_by_similarity(sentences, similarities, threshold=0.45):
    if len(similarities) != len(sentences) - 1:
        raise ValueError("相似度数量必须比句子数量少 1")

    chunks = []
    current = [sentences[0]]

    for i, score in enumerate(similarities):
        if score < threshold:
            chunks.append("".join(current))
            current = [sentences[i + 1]]
        else:
            current.append(sentences[i + 1])

    chunks.append("".join(current))
    return chunks

for index, chunk in enumerate(split_by_similarity(sentences, similarities), 1):
    print(f"chunk {index}: {chunk}")

预期输出

text
chunk 1: 用户提交问题后,系统先检索相关文档。检索器会返回与问题最相关的若干片段。这些片段随后与问题一起交给生成模型。
chunk 2: 咖啡豆的烘焙程度会影响酸度与苦味。浅烘焙通常保留更多果酸与花香。

这里真正决定边界的是第三个相似度 0.18。它低于阈值 0.45,因此系统在第三句与第四句之间切开;其他位置保持连续,最终得到两个主题内部相对一致的片段。

给语义边界加长度约束

只看语义变化仍可能产生极短片段或超长片段。工程上通常还要设置最小长度和最大长度:太短的片段向相邻主题合并,太长的片段即使没有明显主题突变,也需要在较弱边界或句子边界处强制拆分。

阈值也不宜直接照搬别人的数值。不同嵌入模型、领域语料和句子粒度会改变相似度分布,较稳妥的做法是先抽样一批真实文档,观察明显同主题与明显跨主题的分数区间,再选一个能把两类情况尽量分开的阈值。

什么时候值得使用

语义边界切分最适合结构弱、主题会在正文中自然切换的材料,例如访谈记录、会议纪要、长篇说明和抓取后的网页正文。若文档本身已经有稳定标题层级、章节编号或明确字段,优先利用这些结构信号通常更便宜,也更容易解释和调试。

在 RAG 中,最终目标不是让每个片段长度完全一致,而是让一次检索命中后,片段内部尽量围绕同一个知识点展开。语义边界只是候选切点,还应结合长度、重叠和实际检索效果一起调参。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

按语义边界切分

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通