命令行与文本处理 / 系统课时

Unicode 字符属性

Unicode 字符属性

学习目标

  • 理解 Unicode 字符类别的基本概念。
  • 认识 Python 标准 re 对 Unicode 的默认支持。
  • 会使用 unicodedata.category() 判断字符属性。
  • 了解标准 re 不支持反斜杠 p 属性语法。

问题背景或应用场景

国际化文本不仅包含 ASCII 英文字母和数字,还可能包含汉字、全角数字、货币符号和多语言标点。仅使用 A-Z 或 0-9 无法覆盖这些字符,需要理解 Unicode 字符类别。

核心原理

  1. Unicode 为每个字符定义名称、类别和其他属性。
  2. 类别通常由主类别和子类别组成,例如字母类以 L 开头,数字类以 N 开头,标点类以 P 开头。
  3. Python 标准 re 默认让数字简写和单词字符简写具有 Unicode 语义。
  4. Python 标准 re 不支持常见的反斜杠 p 大括号 Unicode 属性语法。
  5. 无需第三方库时,可以使用 unicodedata.category() 按 Unicode 类别筛选字符。

汉字通常属于字母类别,ASCII 数字和全角数字都属于数字相关类别,中文逗号和英文逗号都属于标点类别,但具体子类别可能不同。

基础用法

本课涉及的核心写法如下:

text
unicodedata.category(char)
category.startswith("L")
category.startswith("N")
category.startswith("P")
re.findall(r"\w+", text)

若项目需要直接使用 Unicode 属性表达式,可评估第三方 regex 库;本课示例只依赖 Python 标准库,确保可以直接运行。

完整可运行示例

将代码保存为:

text
unicode_properties.py
python
import re
import unicodedata

text = "Hello,世界!价格123元。"

letters = []
numbers = []
punctuation = []

for char in text:
    category = unicodedata.category(char)
    if category.startswith("L"):
        letters.append(char)
    elif category.startswith("N"):
        numbers.append(char)
    elif category.startswith("P"):
        punctuation.append(char)

print(f"字母字符:{''.join(letters)}")
print(f"数字字符:{''.join(numbers)}")
print(f"标点字符:{''.join(punctuation)}")
print(f"Unicode 数字简写:{re.findall(r'\d+', text)}")
print(f"Unicode 单词片段:{re.findall(r'\w+', text)}")

for char in ["中", "A", "1", "!", ","]:
    print(f"{char}: {unicodedata.category(char)}")

运行命令:

bash
python unicode_properties.py

预期输出

text
字母字符:Hello世界价格元
数字字符:123
标点字符:,!。
Unicode 数字简写:['123']
Unicode 单词片段:['Hello', '世界', '价格123元']
中: Lo
A: Lu
1: Nd
!: Po
,: Po

Tips

  • ASCII 范围与 Unicode 类别解决的问题不同。
  • 业务只允许英文和半角数字时,应显式限制。
  • Unicode 类别适合国际化文本清洗和统计。
  • 引入第三方正则库前应评估部署和兼容成本。

常见错误

1. 在 Python 标准 re 中直接使用 Unicode 属性语法

标准 re 不支持常见的反斜杠 p 大括号写法。

2. 认为汉字不属于字母类

Unicode 分类中,汉字通常归入字母相关类别。

3. 把 Unicode 数字等同于 ASCII 数字

全角数字等字符也可能属于数字类别。

本课练习

  1. 使用 unicodedata.category() 分离字母、数字和标点。
  2. 比较半角数字与全角数字的类别。
  3. 比较 ASCII 范围和数字简写的匹配结果。
  4. 说明何时应使用第三方 regex 库。
按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

Unicode 字符属性

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通