大模型应用开发 / 系统课时

解析 Markdown 与纯文本

解析 Markdown 与纯文本

本节解决 RAG 知识库接入阶段中文档读取的问题,学习如何从 Markdown 和纯文本文件中稳定提取内容,并处理编码、空行和异常字符,最终得到可用于切分与向量化的干净文本。

学习目标

  • 掌握 Markdown 与纯文本文件的读取流程。
  • 理解编码、空行和异常字符对文本解析的影响。
  • 能够实现基础文档清洗并验证解析结果。

读取文本文件的基本流程

RAG 系统中的文档解析不是简单打开文件,而是将不同格式的数据转换成统一文本结构。Markdown 需要保留标题层级等结构信息,纯文本则重点关注内容完整性。

常见处理流程包括读取文件、检测编码、清理无效字符、保留有效换行,最后输出标准化文本供后续分块处理。

python
from pathlib import Path

def load_text(path: str) -> str:
    # 统一使用 UTF-8 读取,实际项目中可增加编码探测逻辑
    content = Path(path).read_text(encoding="utf-8")
    # 清理多余空行,避免切分阶段产生大量空片段
    lines = [line.rstrip() for line in content.splitlines()]
    return "\n".join(lines).strip()

text = load_text("<PATH>")
print(text[:100])

预期输出

text
文档正文开头内容示例...

Markdown 结构保留策略

Markdown 文档通常包含标题、列表、代码块和引用信息。解析时不应立即去除所有符号,否则会丢失有价值的上下文。

例如标题 ## 安装步骤 可以作为后续检索时的重要语义线索。实际项目中通常会保留标题文本,并根据需要转换为文档元数据。

处理 Markdown 时需要特别注意代码块边界、列表连续性以及标题层级,避免清洗过程破坏原始结构。

编码与异常字符处理

知识库来源可能包含用户上传文件、导出的网页内容或历史文档,因此编码并不总是一致。常见问题包括 UTF-8 与其他编码混用、不可见控制字符以及复制产生的特殊空格。

基础清理可以删除不可见字符,但不要盲目替换所有特殊符号,否则可能损坏代码示例或专业术语。

python
import re

def clean_text(content: str) -> str:
    # 删除部分不可见控制字符,保留常见换行和制表符
    return re.sub(r"[\x00-\x08\x0b-\x0c\x0e-\x1f]", "", content)

result = clean_text("hello\x00rag")
print(result)

预期输出

text
hellorag

常见解析问题

Markdown 与纯文本解析常见问题包括文件为空、编码读取失败、连续空行过多以及混入网页复制格式。

排查时应先确认原始文件内容,再检查读取编码,最后观察清洗后的文本是否影响语义。解析结果质量会直接影响后续文本切分和检索效果。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

解析 Markdown 与纯文本

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通