命令行与文本处理 / 系统课时
单词边界
单词边界
学习目标
- 理解单词边界是位置。
- 会匹配独立关键词。
- 理解单词字符与边界的关系。
- 认识下划线和 Unicode 影响。
问题背景或应用场景
普通模式 cat 会同时匹配 cat、catalog 和 copycat。只需要独立单词 cat 时,应限制其左右两侧为单词边界。
核心原理
- 单词边界是位置,不是字符。
- 它通常出现在单词字符与非单词字符之间。
- 字符串开头与单词字符之间可以形成边界。
- 单词字符与字符串结尾之间可以形成边界。
- 边界行为依赖单词字符的定义。
模式 \bcat\b 可以匹配独立 cat,但通常不会匹配 catalog、copycat 和 my_cat。
基础用法
本课涉及的核心写法如下:
text
\bcat\b
\b100\b
re.ASCII下划线属于单词字符,因此 my_cat 中的下划线与 c 之间没有单词边界。
完整可运行示例
将代码保存为:
text
word_boundary.pypython
import re
word_pattern = r"\bcat\b"
text = "cat catalog copycat a cat! my_cat cat-1"
print(f"独立 cat:{re.findall(word_pattern, text)}")
samples = ["cat", "catalog", "copycat", "my_cat", "cat-1", "(cat)"]
for sample in samples:
print(f"{sample}: {re.search(word_pattern, sample) is not None}")
number_pattern = r"\b100\b"
number_text = "100 1000 A100 100-A"
print(f"独立数字:{re.findall(number_pattern, number_text)}")运行命令:
bash
python word_boundary.py预期输出
text
独立 cat:['cat', 'cat', 'cat']
cat: True
catalog: False
copycat: False
my_cat: False
cat-1: True
(cat): True
独立数字:['100', '100']Tips
- 单词边界不会消费字符。
- 下划线属于单词字符。
- 标点和字符串首尾都可能形成边界。
- 中文分词不应只依赖单词边界。
常见错误
1. 把边界当作空格
标点和字符串首尾也能形成边界。
2. 忽略下划线
my_cat 中下划线和 c 都是单词字符。
3. 用边界完成中文分词
中文自然语言分词需要更专业的规则或工具。
本课练习
- 从 go golang go-lang my_go (go) 中提取独立 go。
- 观察 go-lang 和 my_go 的差异。
- 输出每个匹配的位置范围。
按自己的节奏,确认真正理解。