Go / 系统课时
处理字节、字符串与 rune
处理字节、字符串与 rune
Go 的 string 保存的是只读字节序列,不等同于“字符数组”。本篇用 ASCII、中文和 emoji 验证 len、索引、range、[]byte 与 []rune 的差异,让你能正确处理 UTF-8 文本而不切坏字符。
学习目标
- 能区分字节长度、rune 数量和
range返回的字节索引。 - 能根据任务选择
[]byte或[]rune。 - 能识别按字节切片造成的无效 UTF-8。
先区分 byte 与 rune
byte 是 uint8 的别名,表示一个字节;rune 是 int32 的别名,通常用来保存一个 Unicode 码点。UTF-8 使用 1~4 个字节编码一个码点,因此一个中文字符通常占 3 字节,常见 emoji 往往占 4 字节。
| 操作 | 得到什么 | 适合场景 |
|---|---|---|
len(s) |
字节数 | 协议长度、缓存、文件大小 |
s[i] |
第 i 个字节 |
二进制协议、ASCII 检查 |
[]byte(s) |
字节切片 | 网络、哈希、编码转换 |
[]rune(s) |
Unicode 码点切片 | 按码点访问或截取文本 |
for i, r := range s |
字节偏移与 rune | 顺序遍历 UTF-8 文本 |
用一段程序观察 UTF-8
下面的字符串包含 2 个 ASCII 字符、2 个中文字符和 1 个 emoji。程序同时打印字节数、rune 数量、UTF-8 字节以及 range 的索引。
package main
import (
"fmt"
"unicode/utf8"
)
func main() {
s := "Go中文🙂"
fmt.Println("byte length:", len(s))
fmt.Println("rune count:", utf8.RuneCountInString(s))
fmt.Printf("bytes: % x\n", []byte(s))
for i, r := range s {
fmt.Printf("index=%d rune=%c code=U+%04X\n", i, r, r)
}
runes := []rune(s)
fmt.Println("first 4 runes:", string(runes[:4]))
fmt.Println("valid utf8:", utf8.ValidString(s))
}预期输出:
byte length: 12
rune count: 5
bytes: 47 6f e4 b8 ad e6 96 87 f0 9f 99 82
index=0 rune=G code=U+0047
index=1 rune=o code=U+006F
index=2 rune=中 code=U+4E2D
index=5 rune=文 code=U+6587
index=8 rune=🙂 code=U+1F642
first 4 runes: Go中文
valid utf8: true最容易误读的是 range 的 i。它不是“第几个字符”,而是当前 rune 在原字符串中的字节偏移,所以索引从 2 直接跳到 5,再跳到 8。
避免把多字节字符切坏
对字符串使用切片语法时,边界仍按字节计算。对上面的 s,s[2:5] 恰好覆盖“中”的 3 个 UTF-8 字节,因此结果有效;但 s[2:4] 只取了其中两个字节,utf8.ValidString(s[2:4]) 会得到 false。
如果需求是“取前 4 个 Unicode 码点”,先转换为 []rune 再切片,如 string([]rune(s)[:4])。如果需求是读取 HTTP、文件或编码协议中的原始数据,则保持 []byte 更合适,不应为了显示方便先转成 rune。
处理无效 UTF-8
Go 的字符串可以保存任意字节,因此并不保证内容一定是合法 UTF-8。外部文件、网络包或未知编码进入程序后,可以先用 utf8.ValidString 检查;range 遇到无法解码的字节时会产生 utf8.RuneError,并继续向后扫描。
文本业务通常先验证 UTF-8,再按 range 遍历;二进制业务则直接使用 []byte。把“字节长度”和“字符数量”分开处理,可以避免数据库长度校验、字符串截断和协议解析中最常见的 Unicode 错误。