Go / 系统课时

按分隔符完成拆包

按分隔符完成拆包

TCP 只提供连续字节流,不会替应用保存“消息边界”。本节用换行符作为协议分隔符,通过缓冲读取把任意大小的网络片段重新拼成完整消息,并同时处理缺失分隔符和超长输入,避免粘包、半包与无界内存增长。

学习目标

  • 理解为什么一次 Read 不能直接当成一条完整消息。
  • 使用 bufio.Reader 按分隔符稳定拆出文本消息。
  • 为超长消息和 EOF 前残缺消息建立明确的拒绝规则。

为什么一次 Read 不能等于一条消息

发送端连续写入 HELLO\nWORLD\n 时,接收端可能一次读到两条消息,也可能先读到 HEL,下一次才拿到剩余字节。TCP 保证字节顺序,不保证每次读写调用一一对应,因此业务层必须自己定义并恢复边界。

按分隔符协议的核心是保留未完成数据:持续把字节放进缓冲区,找到 \n 后只取出分隔符之前的内容作为一条消息,分隔符之后的字节继续留给下一次拆包。

分隔符协议的缓冲拆包过程

这意味着“拆包”发生在应用协议层,而不是调用更多次 Read 就自然解决。只要协议双方约定同一个分隔符,读取逻辑就应该围绕“是否已经找到完整分隔符”做判断。

用缓冲读取实现严格分隔符协议

下面的程序使用 ReadSlice 查找换行符。bufio.ErrBufferFull 表示当前缓冲区还没找到分隔符,需要继续累计;正常 EOF 且缓冲区为空表示流结束;EOF 前仍有残留字节则判为不完整消息。示例还限制单条消息最多 24 字节,防止对端一直不发送分隔符导致内存持续增长。

go
package main

import (
	"bufio"
	"errors"
	"fmt"
	"io"
	"strings"
)

var (
	errFrameTooLarge = errors.New("frame too large")
	errIncomplete    = errors.New("incomplete frame")
)

func readFrame(r *bufio.Reader, delim byte, maxPayload int) ([]byte, error) {
	frame := make([]byte, 0, maxPayload)

	for {
		part, err := r.ReadSlice(delim)

		// 分隔符不计入业务消息长度;没有分隔符时,收到的全是负载。
		payloadBytes := len(frame) + len(part)
		if err == nil && len(part) > 0 && part[len(part)-1] == delim {
			payloadBytes--
		}
		if payloadBytes > maxPayload {
			return nil, errFrameTooLarge
		}

		frame = append(frame, part...)

		switch {
		case err == nil:
			return frame[:len(frame)-1], nil
		case errors.Is(err, bufio.ErrBufferFull):
			continue
		case errors.Is(err, io.EOF):
			if len(frame) == 0 {
				return nil, io.EOF
			}
			return nil, errIncomplete
		default:
			return nil, err
		}
	}
}

func consume(name, input string) {
	r := bufio.NewReaderSize(strings.NewReader(input), 16)

	for {
		msg, err := readFrame(r, '\n', 24)
		if err == nil {
			fmt.Printf("%s message=%q\n", name, msg)
			continue
		}

		switch {
		case errors.Is(err, io.EOF):
			fmt.Printf("%s done\n", name)
		case errors.Is(err, errFrameTooLarge):
			fmt.Printf("%s rejected: too large\n", name)
		case errors.Is(err, errIncomplete):
			fmt.Printf("%s rejected: missing delimiter\n", name)
		default:
			fmt.Printf("%s rejected: %v\n", name, err)
		}
		return
	}
}

func main() {
	consume("ok", "ABCDEFGHIJKLMNOPQRST\nWORLD\n")
	consume("oversize", "1234567890123456789012345\n")
	consume("incomplete", "TAIL")
}

预期输出

text
ok message="ABCDEFGHIJKLMNOPQRST"
ok message="WORLD"
ok done
oversize rejected: too large
incomplete rejected: missing delimiter

示例中的缓冲区大小不等于消息上限。缓冲区可以较小并多次填充,而 maxPayload 才是协议允许的单条消息长度;两者分开,才能既控制内存,又允许消息跨越多个底层读取片段。

异常输入要在协议层定规则

缺失分隔符不能简单当成一条有效尾消息,否则同一份字节流在“连接仍存活”和“连接已经结束”两种时机会得到不同语义。若协议规定每条消息必须以换行结束,那么 EOF 前的残留数据就应视为协议错误。

超长消息也应尽早拒绝。生产服务通常在读循环中设置单帧上限,并在触发上限后记录原因、终止当前连接或进入协议约定的错误处理流程,而不是继续无界累积。

什么时候适合分隔符协议

分隔符协议适合日志流、命令行式协议和简单文本消息:消息本身易读,边界规则直观,抓包时也容易定位。选择分隔符前要确保正文能转义该字符,或明确规定正文不能出现它。

如果消息是任意二进制数据、正文频繁包含分隔符,或者需要高效传输大块内容,长度前缀通常更合适。关键不是“多读几次”,而是让接收端始终能根据协议规则唯一判断一条消息何时结束。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

按分隔符完成拆包

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通