大模型应用开发 / 系统课时
解析 Markdown 与纯文本
解析 Markdown 与纯文本
本节解决 RAG 知识库接入阶段中文档读取的问题,学习如何从 Markdown 和纯文本文件中稳定提取内容,并处理编码、空行和异常字符,最终得到可用于切分与向量化的干净文本。
学习目标
- 掌握 Markdown 与纯文本文件的读取流程。
- 理解编码、空行和异常字符对文本解析的影响。
- 能够实现基础文档清洗并验证解析结果。
读取文本文件的基本流程
RAG 系统中的文档解析不是简单打开文件,而是将不同格式的数据转换成统一文本结构。Markdown 需要保留标题层级等结构信息,纯文本则重点关注内容完整性。
常见处理流程包括读取文件、检测编码、清理无效字符、保留有效换行,最后输出标准化文本供后续分块处理。
python
from pathlib import Path
def load_text(path: str) -> str:
# 统一使用 UTF-8 读取,实际项目中可增加编码探测逻辑
content = Path(path).read_text(encoding="utf-8")
# 清理多余空行,避免切分阶段产生大量空片段
lines = [line.rstrip() for line in content.splitlines()]
return "\n".join(lines).strip()
text = load_text("<PATH>")
print(text[:100])预期输出
text
文档正文开头内容示例...Markdown 结构保留策略
Markdown 文档通常包含标题、列表、代码块和引用信息。解析时不应立即去除所有符号,否则会丢失有价值的上下文。
例如标题 ## 安装步骤 可以作为后续检索时的重要语义线索。实际项目中通常会保留标题文本,并根据需要转换为文档元数据。
处理 Markdown 时需要特别注意代码块边界、列表连续性以及标题层级,避免清洗过程破坏原始结构。
编码与异常字符处理
知识库来源可能包含用户上传文件、导出的网页内容或历史文档,因此编码并不总是一致。常见问题包括 UTF-8 与其他编码混用、不可见控制字符以及复制产生的特殊空格。
基础清理可以删除不可见字符,但不要盲目替换所有特殊符号,否则可能损坏代码示例或专业术语。
python
import re
def clean_text(content: str) -> str:
# 删除部分不可见控制字符,保留常见换行和制表符
return re.sub(r"[\x00-\x08\x0b-\x0c\x0e-\x1f]", "", content)
result = clean_text("hello\x00rag")
print(result)预期输出
text
hellorag常见解析问题
Markdown 与纯文本解析常见问题包括文件为空、编码读取失败、连续空行过多以及混入网页复制格式。
排查时应先确认原始文件内容,再检查读取编码,最后观察清洗后的文本是否影响语义。解析结果质量会直接影响后续文本切分和检索效果。
按自己的节奏,确认真正理解。