大模型应用开发 / 系统课时

清洗与切分文档

清洗与切分文档

学习目标

完成本课后,你将能够:

  • 识别影响检索的文档噪声
  • 按标题、段落和长度切分文本
  • 设置块大小与重叠区间
  • 为文本块生成稳定元数据和 ID

为什么切分决定召回质量

文本块过大时,一个向量混合多个主题;文本块过小时,定义、条件和结论可能被拆散。切分目标是让每个块围绕一个相对完整主题,同时控制长度和重复。

需要清理的内容

常见噪声:

  • 重复页眉页脚
  • 导航菜单和版权区
  • 连续空白与乱码
  • OCR 断行
  • 重复页面
  • 无意义页码
  • HTML 脚本与样式
  • 隐藏字符
  • 表格列错位

清洗不能删除业务关键符号,例如版本号、金额、代码缩进和列表层级。

切分策略

策略 优点 风险
固定字符数 实现简单 可能切断句子与代码
段落切分 保留自然边界 段落长度不均
标题层级 保留章节语义 需要可靠解析
Token 切分 与模型限制一致 依赖 tokenizer
递归切分 逐级尝试边界 实现与调参更复杂
语义切分 主题边界更自然 计算成本更高

技术文档通常先按标题和代码块保护,再按长度递归切分。

Python 切分示例

保存为 chunk_document.py:

python
from dataclasses import asdict, dataclass
import hashlib
import json
import re

@dataclass(frozen=True)
class Chunk:
    id: str
    source: str
    index: int
    text: str

def clean_text(text: str) -> str:
    text = text.replace("\r\n", "\n").replace("\r", "\n")
    text = re.sub(r"[ \t]+", " ", text)
    text = re.sub(r"\n{3,}", "\n\n", text)
    return text.strip()

def split_text(
    text: str,
    source: str,
    max_chars: int = 500,
    overlap_chars: int = 80,
) -> list[Chunk]:
    if overlap_chars >= max_chars:
        raise ValueError("overlap_chars 必须小于 max_chars")

    cleaned = clean_text(text)
    paragraphs = [p.strip() for p in cleaned.split("\n\n") if p.strip()]
    chunks: list[Chunk] = []
    current = ""

    def append_chunk(value: str) -> None:
        normalized = value.strip()
        if not normalized:
            return
        index = len(chunks)
        digest = hashlib.sha256(
            f"{source}:{index}:{normalized}".encode("utf-8")
        ).hexdigest()[:16]
        chunks.append(
            Chunk(
                id=f"{source}-{digest}",
                source=source,
                index=index,
                text=normalized,
            )
        )

    for paragraph in paragraphs:
        candidate = f"{current}\n\n{paragraph}".strip()
        if len(candidate) <= max_chars:
            current = candidate
            continue

        append_chunk(current)
        tail = current[-overlap_chars:] if current else ""
        current = f"{tail}\n\n{paragraph}".strip()

        while len(current) > max_chars:
            append_chunk(current[:max_chars])
            current = current[max_chars - overlap_chars:]

    append_chunk(current)
    return chunks

sample = """
# Ollama

Ollama 用于在本地运行和管理模型。

## API

默认 API 地址是 http://localhost:11434。
应用可以调用 generate、chat 和 embed 接口。
"""

result = split_text(sample, source="ollama-intro")
print(json.dumps([asdict(item) for item in result], ensure_ascii=False, indent=2))

运行:

bash
python chunk_document.py

预期输出结构:

json
[
  {
    "id": "ollama-intro-<DIGEST>",
    "source": "ollama-intro",
    "index": 0,
    "text": "<CHUNK_TEXT>"
  }
]

块数量取决于输入与参数。

重叠区间

重叠可以保留跨边界上下文,但过大会:

  • 增加索引体积
  • 让检索结果高度重复
  • 浪费生成上下文
  • 影响评测统计

重叠应覆盖可能跨边界的短语或条件,不应复制大半个块。

元数据设计

每个块建议保存:

json
{
  "chunk_id": "<STABLE_ID>",
  "document_id": "<DOCUMENT_ID>",
  "source": "<SOURCE>",
  "title_path": ["<H1>", "<H2>"],
  "chunk_index": 0,
  "text": "<TEXT>",
  "updated_at": "<TIMESTAMP>",
  "access_scope": ["<SCOPE>"],
  "content_hash": "<HASH>"
}

稳定 ID 和内容摘要有助于增量更新、去重和删除旧向量。

代码、表格和列表

  • 代码块应尽量整体保留。
  • 表格需要转换为能理解行列关系的文本。
  • 列表项与引导段落应放在一起。
  • 标题路径应写入元数据或文本前缀。
  • 超长代码可按函数或类边界切分。
  • 图片中的文字需要 OCR,但要保留原页引用。

评估切分

随机检查文本块并回答:

  1. 块能否单独理解主题。
  2. 标题是否可追踪。
  3. 关键条件是否被切断。
  4. 重叠是否过多。
  5. 代码与表格是否损坏。
  6. 文档更新后能否替换旧块。

切分参数应按文档类型分别配置。

本课练习

练习 1:切分 Markdown 文档

任务目标:保留标题和代码块。输入或初始条件:准备一篇技术教程。实现要求:实现标题感知切分。验收条件:代码块不在围栏中间断开。

练习 2:比较块大小

任务目标:观察召回粒度。输入或初始条件:同一文档和 10 个问题。实现要求:使用两组块大小建立索引。验收条件:比较召回相关性和重复率。

练习 3:实现增量更新

任务目标:避免全量重建。输入或初始条件:修改一个段落。实现要求:使用内容摘要找出变化块。验收条件:只更新受影响向量并删除旧块。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

清洗与切分文档

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通