命令行与文本处理 / 系统课时
Unicode 字符属性
Unicode 字符属性
学习目标
- 理解 Unicode 字符类别的基本概念。
- 认识 Python 标准 re 对 Unicode 的默认支持。
- 会使用 unicodedata.category() 判断字符属性。
- 了解标准 re 不支持反斜杠 p 属性语法。
问题背景或应用场景
国际化文本不仅包含 ASCII 英文字母和数字,还可能包含汉字、全角数字、货币符号和多语言标点。仅使用 A-Z 或 0-9 无法覆盖这些字符,需要理解 Unicode 字符类别。
核心原理
- Unicode 为每个字符定义名称、类别和其他属性。
- 类别通常由主类别和子类别组成,例如字母类以 L 开头,数字类以 N 开头,标点类以 P 开头。
- Python 标准 re 默认让数字简写和单词字符简写具有 Unicode 语义。
- Python 标准 re 不支持常见的反斜杠 p 大括号 Unicode 属性语法。
- 无需第三方库时,可以使用 unicodedata.category() 按 Unicode 类别筛选字符。
汉字通常属于字母类别,ASCII 数字和全角数字都属于数字相关类别,中文逗号和英文逗号都属于标点类别,但具体子类别可能不同。
基础用法
本课涉及的核心写法如下:
text
unicodedata.category(char)
category.startswith("L")
category.startswith("N")
category.startswith("P")
re.findall(r"\w+", text)若项目需要直接使用 Unicode 属性表达式,可评估第三方 regex 库;本课示例只依赖 Python 标准库,确保可以直接运行。
完整可运行示例
将代码保存为:
text
unicode_properties.pypython
import re
import unicodedata
text = "Hello,世界!价格123元。"
letters = []
numbers = []
punctuation = []
for char in text:
category = unicodedata.category(char)
if category.startswith("L"):
letters.append(char)
elif category.startswith("N"):
numbers.append(char)
elif category.startswith("P"):
punctuation.append(char)
print(f"字母字符:{''.join(letters)}")
print(f"数字字符:{''.join(numbers)}")
print(f"标点字符:{''.join(punctuation)}")
print(f"Unicode 数字简写:{re.findall(r'\d+', text)}")
print(f"Unicode 单词片段:{re.findall(r'\w+', text)}")
for char in ["中", "A", "1", "!", ","]:
print(f"{char}: {unicodedata.category(char)}")运行命令:
bash
python unicode_properties.py预期输出
text
字母字符:Hello世界价格元
数字字符:123
标点字符:,!。
Unicode 数字简写:['123']
Unicode 单词片段:['Hello', '世界', '价格123元']
中: Lo
A: Lu
1: Nd
!: Po
,: PoTips
- ASCII 范围与 Unicode 类别解决的问题不同。
- 业务只允许英文和半角数字时,应显式限制。
- Unicode 类别适合国际化文本清洗和统计。
- 引入第三方正则库前应评估部署和兼容成本。
常见错误
1. 在 Python 标准 re 中直接使用 Unicode 属性语法
标准 re 不支持常见的反斜杠 p 大括号写法。
2. 认为汉字不属于字母类
Unicode 分类中,汉字通常归入字母相关类别。
3. 把 Unicode 数字等同于 ASCII 数字
全角数字等字符也可能属于数字类别。
本课练习
- 使用 unicodedata.category() 分离字母、数字和标点。
- 比较半角数字与全角数字的类别。
- 比较 ASCII 范围和数字简写的匹配结果。
- 说明何时应使用第三方 regex 库。
按自己的节奏,确认真正理解。