大模型应用开发 / 系统课时

切分文档内容

切分文档内容

知识库检索效果往往先受分块质量影响。本节把一份长文档拆成可检索、可回溯的片段:先尊重标题与段落等语义边界,再用模型可接受的长度收口,并用少量重叠避免关键信息刚好被切断。

学习目标

  • 能根据检索粒度和模型输入限制确定分块预算
  • 能按结构边界优先、长度约束兜底的顺序切分文档
  • 能判断重叠范围是否在补上下文,而不是制造重复噪声

先确定分块预算

分块不是“越小越准”或“越大越完整”。块太大时,一个向量会混入多个主题,检索命中后也会浪费生成模型的上下文;块太小时,定义、条件和结论容易被拆散,单个片段失去独立含义。

长度预算至少同时受两个上限约束:向量模型一次能编码多少文本,以及问答阶段愿意给检索结果保留多少上下文。生产系统应使用目标模型对应的 tokenizer 计数,并给标题、来源、页码等元数据预留空间,而不是把模型窗口全部塞给正文。

先按结构切,再按长度收口

结构信息本身就是语义边界。Markdown 标题、自然段、列表项、表格行和代码块都比固定字符位置更适合作为第一层切分点。只有某个结构单元仍然超过预算时,再在句号、问号等句子边界继续拆分。

重叠用于补偿边界信息,例如上一段最后一个定义会被下一段继续引用。重叠过大则会让相邻块高度重复,使向量库返回一组几乎相同的结果。更稳妥的做法是优先复用上一块最后一个语义单元,而不是机械复制固定字符数。

文档从结构识别到长度收口与重叠生成的分块流程

用可运行示例验证边界

下面的最小分块器不依赖第三方库,便于直接观察算法行为。rough_tokens 只是演示用近似计数器;接入真实向量模型时,应替换成该模型的 tokenizer,否则中文、标点和特殊词的实际 token 数可能不同。

python
import re

def rough_tokens(text: str) -> int:
    pattern = r"[\u4e00-\u9fff]|[A-Za-z0-9_]+|[^\s]"
    return len(re.findall(pattern, text))

def semantic_units(text: str, unit_limit: int) -> list[str]:
    blocks = [b.strip() for b in re.split(r"\n\s*\n", text) if b.strip()]
    units: list[str] = []
    for block in blocks:
        if rough_tokens(block) <= unit_limit:
            units.append(block)
            continue
        # 结构块过长时再按句子边界拆,避免直接从句子中间截断。
        sentences = [s for s in re.split(r"(?<=[。!?!?])", block) if s]
        current: list[str] = []
        for sentence in sentences:
            candidate = "".join(current + [sentence])
            if current and rough_tokens(candidate) > unit_limit:
                units.append("".join(current).strip())
                current = [sentence]
            else:
                current.append(sentence)
        if current:
            units.append("".join(current).strip())
    return units

def chunk_document(text: str, max_tokens: int = 45, overlap_units: int = 1) -> list[str]:
    units = semantic_units(text, unit_limit=max_tokens)
    chunks: list[str] = []
    start = 0
    while start < len(units):
        total = 0
        end = start
        while end < len(units):
            size = rough_tokens(units[end])
            if end > start and total + size > max_tokens:
                break
            total += size
            end += 1
        chunks.append("\n\n".join(units[start:end]))
        if end == len(units):
            break
        # 复用上一个 chunk 的最后一个语义单元作为上下文重叠。
        start = max(start + 1, end - overlap_units)
    return chunks

document = """# 退款规则

退款申请需在订单完成后7天内提交。超过时限不再受理。

## 特殊商品

数字商品激活后不可退款。未激活的数字商品可在24小时内申请。

## 审核

客服会核对订单状态与支付记录,通过后原路退回。"""

for i, chunk in enumerate(chunk_document(document), 1):
    print(f"[chunk {i}] tokens={rough_tokens(chunk)}")
    print(chunk.replace("\n", " / "))

预期输出

text
[chunk 1] tokens=37
# 退款规则 /  / 退款申请需在订单完成后7天内提交。超过时限不再受理。 /  / ## 特殊商品
[chunk 2] tokens=39
## 特殊商品 /  / 数字商品激活后不可退款。未激活的数字商品可在24小时内申请。 /  / ## 审核
[chunk 3] tokens=27
## 审核 /  / 客服会核对订单状态与支付记录,通过后原路退回。

用检索效果反推分块参数

调参时不要只看平均块长。若返回结果经常缺少定义前提,说明块过小或重叠不足;若前几名结果内容高度重复,说明重叠过大;若一个命中块同时讨论多个无关主题,说明结构切分不够细。

最终应保存 chunk_id、原文来源、标题路径、页码或段落位置等可追溯元数据。这样检索命中后不仅能把正文交给模型,还能定位到原始文档,便于引用、排错和后续重新切分。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

切分文档内容

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通