Go / 系统课时

用 io.Reader 实现解码器

用 io.Reader 实现解码器

网络读取经常只返回“当前可用的部分字节”,不能假设一次 Read 就拿到完整帧。本节用 io.Reader 和 io.ReadFull 实现一个按固定帧头解码的读取器,同时处理半包、提前结束和非法长度,得到可直接复用在 TCP 连接上的解码逻辑。

学习目标

  • 理解为什么解码器应面向 io.Reader 而不是具体连接类型
  • 用 io.ReadFull 分两阶段读取帧头与载荷
  • 在分配载荷缓冲区之前拒绝非法长度

解码顺序决定是否稳健

解码器应先读取固定 7 字节帧头,再解析版本、类型和载荷长度;长度通过校验后,才分配载荷缓冲区并继续读取。io.ReadFull 会持续调用底层 Read,直到缓冲区填满或返回错误,因此很适合处理 TCP 半包。

io.Reader 解码流程

io.Reader 让解码器不依赖 net.Conn。同一段代码既能读取 TCP 连接,也能读取 bytes.Buffer、文件或测试构造的数据流,单元测试会更容易。

实现完整解码器

下面示例定义最大载荷为 1024 字节。先完整读取帧头,再检查版本和长度,只有通过校验后才创建载荷切片。

go
package main

import (
	"bytes"
	"encoding/binary"
	"errors"
	"fmt"
	"io"
)

const headerSize = 7

type Message struct {
	Version uint8
	Type    uint16
	Payload []byte
}

type Decoder struct {
	MaxPayload uint32
}

func (d Decoder) Decode(r io.Reader) (Message, error) {
	var msg Message
	header := make([]byte, headerSize)

	if _, err := io.ReadFull(r, header); err != nil {
		return msg, fmt.Errorf("read header: %w", err)
	}

	msg.Version = header[0]
	if msg.Version != 1 {
		return msg, fmt.Errorf("unsupported version: %d", msg.Version)
	}

	msg.Type = binary.BigEndian.Uint16(header[1:3])
	length := binary.BigEndian.Uint32(header[3:7])
	if length > d.MaxPayload {
		return msg, fmt.Errorf("payload length %d exceeds max %d", length, d.MaxPayload)
	}

	msg.Payload = make([]byte, length)
	if _, err := io.ReadFull(r, msg.Payload); err != nil {
		return Message{}, fmt.Errorf("read payload: %w", err)
	}
	return msg, nil
}

func main() {
	decoder := Decoder{MaxPayload: 1024}

	okFrame := []byte{1, 0, 2, 0, 0, 0, 4, 'p', 'i', 'n', 'g'}
	msg, err := decoder.Decode(bytes.NewReader(okFrame))
	fmt.Printf("ok=%v type=%d payload=%s\n", err == nil, msg.Type, msg.Payload)

	shortFrame := []byte{1, 0, 2, 0}
	_, err = decoder.Decode(bytes.NewReader(shortFrame))
	fmt.Printf("truncated=%v\n", errors.Is(err, io.ErrUnexpectedEOF))

	tooLarge := []byte{1, 0, 2, 0, 0, 8, 0}
	_, err = decoder.Decode(bytes.NewReader(tooLarge))
	fmt.Printf("invalid-length=%v\n", err != nil)
}

预期输出

text
ok=true type=2 payload=ping
truncated=true
invalid-length=true

第一条输入能够完整解析。第二条只有 4 个头部字节,io.ReadFull 会返回包装后的 io.ErrUnexpectedEOF。第三条声明载荷长度为 2048,超过 1024 的上限,因此在分配载荷切片之前就被拒绝。

不要把一次 Read 当成一帧

下面这种思路在本地小流量测试中可能“看起来能用”,但不可靠:先调用一次 Read,然后把返回的字节直接当成完整消息。TCP 可能把一个帧拆成多次读取,也可能让一次读取同时包含多帧数据。

正确边界由协议决定,而不是由底层 Read 的返回次数决定。固定头协议中,头部大小和长度字段共同定义了边界;io.ReadFull 只是把“我要恰好 N 字节”这个协议要求落实到读取过程。

处理错误时保留根因

用 %w 包装底层错误,可以让调用方继续通过 errors.Is 判断 io.EOF 或 io.ErrUnexpectedEOF。这比把所有错误都改成同一个字符串更利于日志分类、重试策略和连接关闭判断。

稳定的流式解码器要满足三个条件:按协议精确读取、在分配内存前校验长度、把截断输入与协议错误区分开。做到这三点后,同一个解码器就可以直接挂到 net.Conn 上处理真实 TCP 字节流。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用 io.Reader 实现解码器

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通