大模型应用开发 / 系统课时
清洗与切分文档
清洗与切分文档
学习目标
完成本课后,你将能够:
- 识别影响检索的文档噪声
- 按标题、段落和长度切分文本
- 设置块大小与重叠区间
- 为文本块生成稳定元数据和 ID
为什么切分决定召回质量
文本块过大时,一个向量混合多个主题;文本块过小时,定义、条件和结论可能被拆散。切分目标是让每个块围绕一个相对完整主题,同时控制长度和重复。
需要清理的内容
常见噪声:
- 重复页眉页脚
- 导航菜单和版权区
- 连续空白与乱码
- OCR 断行
- 重复页面
- 无意义页码
- HTML 脚本与样式
- 隐藏字符
- 表格列错位
清洗不能删除业务关键符号,例如版本号、金额、代码缩进和列表层级。
切分策略
| 策略 | 优点 | 风险 |
|---|---|---|
| 固定字符数 | 实现简单 | 可能切断句子与代码 |
| 段落切分 | 保留自然边界 | 段落长度不均 |
| 标题层级 | 保留章节语义 | 需要可靠解析 |
| Token 切分 | 与模型限制一致 | 依赖 tokenizer |
| 递归切分 | 逐级尝试边界 | 实现与调参更复杂 |
| 语义切分 | 主题边界更自然 | 计算成本更高 |
技术文档通常先按标题和代码块保护,再按长度递归切分。
Python 切分示例
保存为 chunk_document.py:
python
from dataclasses import asdict, dataclass
import hashlib
import json
import re
@dataclass(frozen=True)
class Chunk:
id: str
source: str
index: int
text: str
def clean_text(text: str) -> str:
text = text.replace("\r\n", "\n").replace("\r", "\n")
text = re.sub(r"[ \t]+", " ", text)
text = re.sub(r"\n{3,}", "\n\n", text)
return text.strip()
def split_text(
text: str,
source: str,
max_chars: int = 500,
overlap_chars: int = 80,
) -> list[Chunk]:
if overlap_chars >= max_chars:
raise ValueError("overlap_chars 必须小于 max_chars")
cleaned = clean_text(text)
paragraphs = [p.strip() for p in cleaned.split("\n\n") if p.strip()]
chunks: list[Chunk] = []
current = ""
def append_chunk(value: str) -> None:
normalized = value.strip()
if not normalized:
return
index = len(chunks)
digest = hashlib.sha256(
f"{source}:{index}:{normalized}".encode("utf-8")
).hexdigest()[:16]
chunks.append(
Chunk(
id=f"{source}-{digest}",
source=source,
index=index,
text=normalized,
)
)
for paragraph in paragraphs:
candidate = f"{current}\n\n{paragraph}".strip()
if len(candidate) <= max_chars:
current = candidate
continue
append_chunk(current)
tail = current[-overlap_chars:] if current else ""
current = f"{tail}\n\n{paragraph}".strip()
while len(current) > max_chars:
append_chunk(current[:max_chars])
current = current[max_chars - overlap_chars:]
append_chunk(current)
return chunks
sample = """
# Ollama
Ollama 用于在本地运行和管理模型。
## API
默认 API 地址是 http://localhost:11434。
应用可以调用 generate、chat 和 embed 接口。
"""
result = split_text(sample, source="ollama-intro")
print(json.dumps([asdict(item) for item in result], ensure_ascii=False, indent=2))运行:
bash
python chunk_document.py预期输出结构:
json
[
{
"id": "ollama-intro-<DIGEST>",
"source": "ollama-intro",
"index": 0,
"text": "<CHUNK_TEXT>"
}
]块数量取决于输入与参数。
重叠区间
重叠可以保留跨边界上下文,但过大会:
- 增加索引体积
- 让检索结果高度重复
- 浪费生成上下文
- 影响评测统计
重叠应覆盖可能跨边界的短语或条件,不应复制大半个块。
元数据设计
每个块建议保存:
json
{
"chunk_id": "<STABLE_ID>",
"document_id": "<DOCUMENT_ID>",
"source": "<SOURCE>",
"title_path": ["<H1>", "<H2>"],
"chunk_index": 0,
"text": "<TEXT>",
"updated_at": "<TIMESTAMP>",
"access_scope": ["<SCOPE>"],
"content_hash": "<HASH>"
}稳定 ID 和内容摘要有助于增量更新、去重和删除旧向量。
代码、表格和列表
- 代码块应尽量整体保留。
- 表格需要转换为能理解行列关系的文本。
- 列表项与引导段落应放在一起。
- 标题路径应写入元数据或文本前缀。
- 超长代码可按函数或类边界切分。
- 图片中的文字需要 OCR,但要保留原页引用。
评估切分
随机检查文本块并回答:
- 块能否单独理解主题。
- 标题是否可追踪。
- 关键条件是否被切断。
- 重叠是否过多。
- 代码与表格是否损坏。
- 文档更新后能否替换旧块。
切分参数应按文档类型分别配置。
本课练习
练习 1:切分 Markdown 文档
任务目标:保留标题和代码块。输入或初始条件:准备一篇技术教程。实现要求:实现标题感知切分。验收条件:代码块不在围栏中间断开。
练习 2:比较块大小
任务目标:观察召回粒度。输入或初始条件:同一文档和 10 个问题。实现要求:使用两组块大小建立索引。验收条件:比较召回相关性和重复率。
练习 3:实现增量更新
任务目标:避免全量重建。输入或初始条件:修改一个段落。实现要求:使用内容摘要找出变化块。验收条件:只更新受影响向量并删除旧块。
按自己的节奏,确认真正理解。