命令行与文本处理 / 系统课时
Markdown 代码块清洗
Markdown 代码块清洗
学习目标
- 识别独占一行的不规范代码块标记。
- 使用行锚点避免修改行内代码。
- 通过替换函数规范化语言标记。
- 理解正则清洗 Markdown 的适用边界。
问题背景或应用场景
历史数据中可能出现单个反引号组成的代码块标记,例如独占一行的单反引号加语言名,以及独占一行的单反引号结束标记。清洗时必须避免误改正文中的行内代码。
核心原理
- 模式应使用行首和行尾锚点,只匹配独占整行的异常标记。
- 开头标记应限制允许的语言名称,避免误判普通文本。
- 替换开头时要保留并规范化语言名称。
- 结束标记只替换独占一行的单个反引号。
- 复杂嵌套围栏、四反引号和 Markdown 语法树处理应使用专用解析器。
本课示例针对已知历史格式执行定向修复,不尝试成为完整 Markdown 解析器。
基础用法
本课涉及的核心写法如下:
text
行首加可选空白加单反引号加语言名加行尾
行首加可选空白加单反引号加行尾
re.sub(..., flags=re.MULTILINE)清洗前应备份原文,并统计替换次数。对于无法成对识别的代码块,应进入人工复核队列。
完整可运行示例
将代码保存为:
text
markdown_fence_clean.pypython
import re
bad_markdown = "\n".join([
"# 示例",
"`python",
"print('hello')",
"`",
"",
"正文中的 `inline` 不应修改。",
"`bash",
"echo ok",
"`",
])
opening_pattern = re.compile(
r"^[ \t]*`(?P<lang>python|java|js|javascript|bash|text)[ \t]*$",
re.MULTILINE,
)
closing_pattern = re.compile(
r"^[ \t]*`[ \t]*$",
re.MULTILINE,
)
cleaned, opening_count = opening_pattern.subn(
lambda match: "```" + match.group("lang").lower(),
bad_markdown,
)
cleaned, closing_count = closing_pattern.subn("```", cleaned)
print(f"开头修复数:{opening_count}")
print(f"结尾修复数:{closing_count}")
print(f"行内代码保留:{'`inline`' in cleaned}")
print(f"清洗结果表示:{cleaned!r}")运行命令:
bash
python markdown_fence_clean.py预期输出
text
开头修复数:2
结尾修复数:2
行内代码保留:True
清洗结果表示:"# 示例\n```python\nprint('hello')\n```\n\n正文中的 `inline` 不应修改。\n```bash\necho ok\n```"Tips
- 必须使用行锚点避免误改行内代码。
- 语言白名单应与系统支持范围一致。
- 清洗前保存原文和替换统计。
- 复杂 Markdown 使用语法解析器。
常见错误
1. 不使用行首行尾锚点
可能把正文中的行内代码误认为代码块。
2. 语言名称不设限制
普通反引号文本可能被错误转换。
3. 假设所有标记天然成对
历史脏数据可能缺少结束标记,需要额外校验。
本课练习
- 增加对 Java 和 text 语言标记的修复。
- 验证行内代码不会被修改。
- 统计开头与结束标记数量是否一致。
- 为缺少结束标记的输入设计告警。
按自己的节奏,确认真正理解。