命令行与文本处理 / 系统课时

Markdown 代码块清洗

Markdown 代码块清洗

学习目标

  • 识别独占一行的不规范代码块标记。
  • 使用行锚点避免修改行内代码。
  • 通过替换函数规范化语言标记。
  • 理解正则清洗 Markdown 的适用边界。

问题背景或应用场景

历史数据中可能出现单个反引号组成的代码块标记,例如独占一行的单反引号加语言名,以及独占一行的单反引号结束标记。清洗时必须避免误改正文中的行内代码。

核心原理

  1. 模式应使用行首和行尾锚点,只匹配独占整行的异常标记。
  2. 开头标记应限制允许的语言名称,避免误判普通文本。
  3. 替换开头时要保留并规范化语言名称。
  4. 结束标记只替换独占一行的单个反引号。
  5. 复杂嵌套围栏、四反引号和 Markdown 语法树处理应使用专用解析器。

本课示例针对已知历史格式执行定向修复,不尝试成为完整 Markdown 解析器。

基础用法

本课涉及的核心写法如下:

text
行首加可选空白加单反引号加语言名加行尾
行首加可选空白加单反引号加行尾
re.sub(..., flags=re.MULTILINE)

清洗前应备份原文,并统计替换次数。对于无法成对识别的代码块,应进入人工复核队列。

完整可运行示例

将代码保存为:

text
markdown_fence_clean.py
python
import re

bad_markdown = "\n".join([
    "# 示例",
    "`python",
    "print('hello')",
    "`",
    "",
    "正文中的 `inline` 不应修改。",
    "`bash",
    "echo ok",
    "`",
])

opening_pattern = re.compile(
    r"^[ \t]*`(?P<lang>python|java|js|javascript|bash|text)[ \t]*$",
    re.MULTILINE,
)
closing_pattern = re.compile(
    r"^[ \t]*`[ \t]*$",
    re.MULTILINE,
)

cleaned, opening_count = opening_pattern.subn(
    lambda match: "```" + match.group("lang").lower(),
    bad_markdown,
)
cleaned, closing_count = closing_pattern.subn("```", cleaned)

print(f"开头修复数:{opening_count}")
print(f"结尾修复数:{closing_count}")
print(f"行内代码保留:{'`inline`' in cleaned}")
print(f"清洗结果表示:{cleaned!r}")

运行命令:

bash
python markdown_fence_clean.py

预期输出

text
开头修复数:2
结尾修复数:2
行内代码保留:True
清洗结果表示:"# 示例\n```python\nprint('hello')\n```\n\n正文中的 `inline` 不应修改。\n```bash\necho ok\n```"

Tips

  • 必须使用行锚点避免误改行内代码。
  • 语言白名单应与系统支持范围一致。
  • 清洗前保存原文和替换统计。
  • 复杂 Markdown 使用语法解析器。

常见错误

1. 不使用行首行尾锚点

可能把正文中的行内代码误认为代码块。

2. 语言名称不设限制

普通反引号文本可能被错误转换。

3. 假设所有标记天然成对

历史脏数据可能缺少结束标记,需要额外校验。

本课练习

  1. 增加对 Java 和 text 语言标记的修复。
  2. 验证行内代码不会被修改。
  3. 统计开头与结束标记数量是否一致。
  4. 为缺少结束标记的输入设计告警。
按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

Markdown 代码块清洗

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通