Go / 系统课时

处理字节、字符串与 rune

处理字节、字符串与 rune

Go 的 string 保存的是只读字节序列,不等同于“字符数组”。本篇用 ASCII、中文和 emoji 验证 len、索引、range、[]byte 与 []rune 的差异,让你能正确处理 UTF-8 文本而不切坏字符。

学习目标

  • 能区分字节长度、rune 数量和 range 返回的字节索引。
  • 能根据任务选择 []byte 或 []rune。
  • 能识别按字节切片造成的无效 UTF-8。

先区分 byte 与 rune

byte 是 uint8 的别名,表示一个字节;rune 是 int32 的别名,通常用来保存一个 Unicode 码点。UTF-8 使用 1~4 个字节编码一个码点,因此一个中文字符通常占 3 字节,常见 emoji 往往占 4 字节。

操作 得到什么 适合场景
len(s) 字节数 协议长度、缓存、文件大小
s[i] 第 i 个字节 二进制协议、ASCII 检查
[]byte(s) 字节切片 网络、哈希、编码转换
[]rune(s) Unicode 码点切片 按码点访问或截取文本
for i, r := range s 字节偏移与 rune 顺序遍历 UTF-8 文本

用一段程序观察 UTF-8

下面的字符串包含 2 个 ASCII 字符、2 个中文字符和 1 个 emoji。程序同时打印字节数、rune 数量、UTF-8 字节以及 range 的索引。

go
package main

import (
	"fmt"
	"unicode/utf8"
)

func main() {
	s := "Go中文🙂"

	fmt.Println("byte length:", len(s))
	fmt.Println("rune count:", utf8.RuneCountInString(s))
	fmt.Printf("bytes: % x\n", []byte(s))

	for i, r := range s {
		fmt.Printf("index=%d rune=%c code=U+%04X\n", i, r, r)
	}

	runes := []rune(s)
	fmt.Println("first 4 runes:", string(runes[:4]))
	fmt.Println("valid utf8:", utf8.ValidString(s))
}

预期输出:

text
byte length: 12
rune count: 5
bytes: 47 6f e4 b8 ad e6 96 87 f0 9f 99 82
index=0 rune=G code=U+0047
index=1 rune=o code=U+006F
index=2 rune=中 code=U+4E2D
index=5 rune=文 code=U+6587
index=8 rune=🙂 code=U+1F642
first 4 runes: Go中文
valid utf8: true

最容易误读的是 range 的 i。它不是“第几个字符”,而是当前 rune 在原字符串中的字节偏移,所以索引从 2 直接跳到 5,再跳到 8。

避免把多字节字符切坏

对字符串使用切片语法时,边界仍按字节计算。对上面的 s,s[2:5] 恰好覆盖“中”的 3 个 UTF-8 字节,因此结果有效;但 s[2:4] 只取了其中两个字节,utf8.ValidString(s[2:4]) 会得到 false。

如果需求是“取前 4 个 Unicode 码点”,先转换为 []rune 再切片,如 string([]rune(s)[:4])。如果需求是读取 HTTP、文件或编码协议中的原始数据,则保持 []byte 更合适,不应为了显示方便先转成 rune。

处理无效 UTF-8

Go 的字符串可以保存任意字节,因此并不保证内容一定是合法 UTF-8。外部文件、网络包或未知编码进入程序后,可以先用 utf8.ValidString 检查;range 遇到无法解码的字节时会产生 utf8.RuneError,并继续向后扫描。

文本业务通常先验证 UTF-8,再按 range 遍历;二进制业务则直接使用 []byte。把“字节长度”和“字符数量”分开处理,可以避免数据库长度校验、字符串截断和协议解析中最常见的 Unicode 错误。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

处理字节、字符串与 rune

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通