Rust / 系统课时

处理 UTF-8 字符串

处理 UTF-8 字符串

Rust 字符串按 UTF-8 存储,同一段文本可以按字节、Unicode 标量值或用户感知字素来理解。本节通过一段可运行代码对比三种遍历方式,并用安全切片避免落在多字节字符中间。

学习目标

  • 理解字节、char 与字素簇是三种不同的文本单位。
  • 使用 bytes()、chars() 和字素分割选择正确的遍历语义。
  • 使用 get() 检查 UTF-8 边界,避免错误切片。

先决定你要处理哪一种单位

Rust 的 String 和 str 都保证内部是有效 UTF-8,但 UTF-8 是变长编码:一个可见字符可能占多个字节,而一个用户眼中的“字符”还可能由多个 Unicode 标量值组合而成。

处理单位 Rust 常用方式 适合场景
字节 as_bytes()、bytes() 协议、编码、哈希、底层扫描
Unicode 标量值 chars() 代码点级分类、简单字符遍历
字素簇 unicode-segmentation 光标移动、截取用户名、面向用户的字符计数

例如 👍🏽 在 UTF-8 中占 8 个字节,由两个 char 组成,但用户通常把它看成一个字素。只说“第几个字符”而不先定义单位,很容易写出错误逻辑。

对比字节、字符与字素

标准库可以处理字节和 char;如果需要 Unicode 字素簇,可在现有 Cargo 项目的 Cargo.toml 中加入下面的依赖。以下是片段示例,依赖于项目已经存在 [dependencies] 区域。

toml
[dependencies]
unicode-segmentation = "1"

配置后,src/main.rs 可以写成:

rust
use unicode_segmentation::UnicodeSegmentation;

fn main() {
    let text = "aé👍🏽";

    println!("bytes = {:?}", text.as_bytes());
    println!("chars = {:?}", text.chars().collect::<Vec<_>>());
    println!(
        "graphemes = {:?}",
        text.graphemes(true).collect::<Vec<_>>()
    );

    // 字符串范围仍然使用字节偏移;get 会在边界非法时返回 None。
    println!("get(1..3) = {:?}", text.get(1..3));
    println!("get(2..3) = {:?}", text.get(2..3));
}

预期输出

text
bytes = [97, 195, 169, 240, 159, 145, 141, 240, 159, 143, 189]
chars = ['a', 'é', '👍', '🏽']
graphemes = ["a", "é", "👍🏽"]
get(1..3) = Some("é")
get(2..3) = None

运行 cargo run 能正常编译并得到上述结构即说明依赖和遍历方式生效;不同 Cargo 版本的编译日志可能不同,但程序输出保持一致。

为什么不能直接按整数索引

Rust 不实现类似 text[0] 的字符串整数索引,因为“第 0 个元素”没有唯一合理含义:它可能指第一个字节、第一个 Unicode 标量值,也可能指第一个字素簇。若语言默认其中一种,就很容易让另外两种场景产生隐蔽错误。

范围切片如 &text[1..3] 使用的仍是字节偏移,并且起止位置必须都落在 UTF-8 字符边界上。示例中的 1..3 正好覆盖 é 的两个字节,而 2..3 从 é 的第二个字节开始,因此 get() 返回 None。

按业务语义选择遍历方式

处理二进制协议、ASCII 分隔符或编码细节时,用字节最直接;需要逐个 Unicode 标量值判断时,用 chars();界面截断、光标移动、昵称长度这类面向用户的文本操作,应使用字素簇。

UTF-8 代码的关键不是“永远使用某一种遍历”,而是先明确业务中的文本单位,再选择对应 API。只要不要把字节位置误当成用户感知字符位置,大多数字符串边界问题都能在设计阶段避免。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

处理 UTF-8 字符串

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通