Node.js / 系统课时

处理字符编码

处理字符编码

字符编码问题通常不是“数据坏了”,而是把同一组字节用错了转换方向。本课用同一段文本完成 UTF-8、十六进制和 Base64 的往返转换,并给出检查乱码、接口字段和二进制文本化时可以直接使用的规则。

学习目标

  • 区分 UTF-8 字符编码与 Base64、十六进制这两种二进制文本表示。
  • 会用 Buffer.from() 和 buf.toString() 完成双向转换。
  • 能通过字节长度和往返校验定位常见乱码、重复编码和格式错误。

先分清三种表示的职责

UTF-8 负责把 Unicode 文本编码成字节;十六进制和 Base64 则负责把已有字节表示成只含文本字符的字符串。它们解决的问题不同,Base64 不是加密,也不会自动压缩数据。

以 你好A 为例,UTF-8 编码后共有 7 字节,十六进制表示为 e4bda0e5a5bd41,Base64 表示为 5L2g5aW9QQ==。十六进制每 1 字节固定变成 2 个字符;Base64 通常每 3 字节变成 4 个字符,因此编码后的文本长度约为原始字节数的 1.33 倍。

转换方向决定使用哪个 API

先判断“输入现在是什么”,再选方法。把文本变成字节使用 Buffer.from();把字节变成人可传输的文本表示使用 toString()。

转换 Node.js 写法
文本 → UTF-8 字节 Buffer.from(text, 'utf8')
UTF-8 字节 → 文本 buf.toString('utf8')
字节 → 十六进制 buf.toString('hex')
十六进制 → 字节 Buffer.from(hex, 'hex')
字节 → Base64 buf.toString('base64')
Base64 → 字节 Buffer.from(base64, 'base64')

下面的程序从原始文本出发,分别转换成十六进制和 Base64,再解码回原文。保存为 encoding-demo.js 后执行 node encoding-demo.js。

js
const { Buffer } = require('node:buffer');

const source = '你好A';
const bytes = Buffer.from(source, 'utf8');

const hex = bytes.toString('hex');
const base64 = bytes.toString('base64');

const fromHex = Buffer.from(hex, 'hex').toString('utf8');
const fromBase64 = Buffer.from(base64, 'base64').toString('utf8');

console.log('bytes:', bytes.length);
console.log('hex:', hex);
console.log('base64:', base64);
console.log('from hex:', fromHex);
console.log('from base64:', fromBase64);

预期输出

text
bytes: 7
hex: e4bda0e5a5bd41
base64: 5L2g5aW9QQ==
from hex: 你好A
from base64: 你好A

这条链路中只有第一步是在做字符编码:source 按 UTF-8 变成字节。后面的 hex 和 base64 都只是同一组字节的文本表示,解码后得到的字节应与原始 bytes 完全一致。

接口和文件里怎样选择格式

普通 JSON、日志、配置和网页文本通常直接使用 UTF-8 字符串,不要先转 Base64。只有协议字段明确要求“把二进制塞进文本字段”时才使用 Base64;例如 1 MiB 原始二进制经过 Base64 后约为 1.33 MiB,还没有计算 JSON 字段名和引号的额外开销。

十六进制更适合短而需要人工核对的二进制值,例如哈希或协议字段。一个 32 字节的 SHA-256 摘要用十六进制表示时固定是 64 个字符,读取和逐字节比对都很直观,但体积会变成原字节数的 2 倍。

如果使用 fs.readFile() 读取文本文件,可以明确指定 { encoding: 'utf8' } 直接得到字符串;不指定编码时得到的是二进制缓冲区。处理图片、压缩包、音频等文件时不要指定文本编码,否则会把任意字节错误解释为字符。

乱码时先检查解码编码

乱码最常见的原因是“编码时用 UTF-8,解码时却按另一个编码读”。例如 你好 的 UTF-8 字节是 e4 bd a0 e5 a5 bd,如果把这 6 个字节按 latin1 解码,会得到类似 ä½ å¥½ 的乱码;原始字节并没有丢失,错误发生在解释字节的那一步。

排查时按固定顺序处理:先确认数据源约定的编码,再保留原始 Buffer 查看 toString('hex'),最后只在边界处使用正确的 toString(encoding)。如果编码名称来自配置,可先用 Buffer.isEncoding(name) 检查是否受 Node.js 支持,但它只能验证“编码名称”,不能证明输入内容本身合法。

用往返校验防止重复编码

编码转换完成后,最可靠的检查不是“看起来能显示”,而是把结果解码回字节再比较。对于 const bytes = Buffer.from('你好A', 'utf8'),十六进制往返后应满足 bytes.equals(Buffer.from(bytes.toString('hex'), 'hex')),Base64 往返也应满足同样的字节相等条件。

还要避免把已经是 Base64 的字符串再次按 UTF-8 转成字节后重新 Base64,这会产生完全不同的内容。接口联调时应在字段定义旁明确记录“原始文本”“原始二进制”“Base64 文本”三者中的一种,并用一组固定样例做往返测试;只要解码后的字节与起始字节不相等,就应停止继续处理并检查转换方向。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

处理字符编码

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通