大模型应用开发 / 系统课时
清洗文档噪声
清洗文档噪声
本节解决原始文档直接进入知识库后检索质量下降的问题,通过清理乱码、重复空白、页眉页脚和模板文本,让模型接收到更稳定、更有价值的上下文内容。
学习目标
- 了解文档噪声对 RAG 检索效果的影响
- 掌握常见文本清洗规则的实现方式
- 能够建立基础文档预处理流程
文档噪声产生的问题
知识源通常来自 PDF、网页、办公文档和导出系统,其中可能包含分页信息、导航菜单、版权声明等非业务内容。这些内容会占用上下文窗口,也可能干扰向量检索相似度。
清洗的目标不是删除所有特殊字符,而是保留对回答有帮助的信息,去除重复和无意义内容。
常见清洗规则
实际项目中常见处理包括合并连续空白、删除固定页眉页脚、过滤重复段落和修复编码异常。规则需要根据数据来源逐步调整。
下面示例展示一个基础 Markdown 文档清洗函数。
python
import re
def clean_document(text):
# 删除连续空白,减少无意义格式差异
text = re.sub(r"\\s+", " ", text)
# 删除常见版权声明模板
text = re.sub(r"Copyright.*?All Rights Reserved", "", text, flags=re.I)
return text.strip()
raw_text = "标题\n\n\nCopyright 2026 All Rights Reserved"
print(clean_document(raw_text))预期输出
text
标题实际清洗规则需要根据具体文档格式调整,避免误删正文。
建立可维护的清洗流程
不要把所有规则写成一次性的字符串替换。推荐按照来源建立独立处理步骤,例如 PDF 清洗、网页清洗和业务文档清洗分别维护规则。
清洗流程一般位于解析之后、切分之前,因为切分结果会直接影响后续向量检索效果。
清洗边界与验证方法
过度清洗可能删除关键上下文,例如产品名称、代码片段和表格内容。因此每增加一个规则,都应该抽样检查输入和输出差异。
可以通过统计清洗前后的字符数量、段落数量以及人工检索结果变化评估规则效果。
按自己的节奏,确认真正理解。