Rust / 系统课时
处理 UTF-8 字符串
处理 UTF-8 字符串
Rust 字符串按 UTF-8 存储,同一段文本可以按字节、Unicode 标量值或用户感知字素来理解。本节通过一段可运行代码对比三种遍历方式,并用安全切片避免落在多字节字符中间。
学习目标
- 理解字节、
char与字素簇是三种不同的文本单位。 - 使用
bytes()、chars()和字素分割选择正确的遍历语义。 - 使用
get()检查 UTF-8 边界,避免错误切片。
先决定你要处理哪一种单位
Rust 的 String 和 str 都保证内部是有效 UTF-8,但 UTF-8 是变长编码:一个可见字符可能占多个字节,而一个用户眼中的“字符”还可能由多个 Unicode 标量值组合而成。
| 处理单位 | Rust 常用方式 | 适合场景 |
|---|---|---|
| 字节 | as_bytes()、bytes() |
协议、编码、哈希、底层扫描 |
| Unicode 标量值 | chars() |
代码点级分类、简单字符遍历 |
| 字素簇 | unicode-segmentation |
光标移动、截取用户名、面向用户的字符计数 |
例如 👍🏽 在 UTF-8 中占 8 个字节,由两个 char 组成,但用户通常把它看成一个字素。只说“第几个字符”而不先定义单位,很容易写出错误逻辑。
对比字节、字符与字素
标准库可以处理字节和 char;如果需要 Unicode 字素簇,可在现有 Cargo 项目的 Cargo.toml 中加入下面的依赖。以下是片段示例,依赖于项目已经存在 [dependencies] 区域。
[dependencies]
unicode-segmentation = "1"配置后,src/main.rs 可以写成:
use unicode_segmentation::UnicodeSegmentation;
fn main() {
let text = "aé👍🏽";
println!("bytes = {:?}", text.as_bytes());
println!("chars = {:?}", text.chars().collect::<Vec<_>>());
println!(
"graphemes = {:?}",
text.graphemes(true).collect::<Vec<_>>()
);
// 字符串范围仍然使用字节偏移;get 会在边界非法时返回 None。
println!("get(1..3) = {:?}", text.get(1..3));
println!("get(2..3) = {:?}", text.get(2..3));
}预期输出
bytes = [97, 195, 169, 240, 159, 145, 141, 240, 159, 143, 189]
chars = ['a', 'é', '👍', '🏽']
graphemes = ["a", "é", "👍🏽"]
get(1..3) = Some("é")
get(2..3) = None运行 cargo run 能正常编译并得到上述结构即说明依赖和遍历方式生效;不同 Cargo 版本的编译日志可能不同,但程序输出保持一致。
为什么不能直接按整数索引
Rust 不实现类似 text[0] 的字符串整数索引,因为“第 0 个元素”没有唯一合理含义:它可能指第一个字节、第一个 Unicode 标量值,也可能指第一个字素簇。若语言默认其中一种,就很容易让另外两种场景产生隐蔽错误。
范围切片如 &text[1..3] 使用的仍是字节偏移,并且起止位置必须都落在 UTF-8 字符边界上。示例中的 1..3 正好覆盖 é 的两个字节,而 2..3 从 é 的第二个字节开始,因此 get() 返回 None。
按业务语义选择遍历方式
处理二进制协议、ASCII 分隔符或编码细节时,用字节最直接;需要逐个 Unicode 标量值判断时,用 chars();界面截断、光标移动、昵称长度这类面向用户的文本操作,应使用字素簇。
UTF-8 代码的关键不是“永远使用某一种遍历”,而是先明确业务中的文本单位,再选择对应 API。只要不要把字节位置误当成用户感知字符位置,大多数字符串边界问题都能在设计阶段避免。