P2P 与分布式存储 / 系统课时

读取字节流时如何划分消息边界

读取字节流时如何划分消息边界

节点已经建立加密连接,却可能在一次读取中只收到半条消息,或者同时收到多条消息。如果把每次读取直接当成完整消息,解析就会随机失败。本课使用四字节长度前缀定义消息边界,实现能够处理部分读取、连续写入和异常长度的接收器,并通过可运行测试验证行为。

学习目标

  • 解释为什么 TCP 或 libp2p 字节流中的一次读取不等于一条应用消息。
  • 实现四字节大端长度前缀协议,正确处理拆分与合并的消息。
  • 识别异常长度、半帧断流和正常连接关闭,验证接收器的安全边界。

字节流为什么不保留消息边界

TCP 提供的是可靠、有序的字节流,而不是按应用消息划分的数据包。发送方连续调用两次 sendall(),接收方可能一次获得两条消息,也可能需要多次 recv() 才能拿齐第一条。recv(4096) 中的 4096 只是单次最多读取的字节数,不保证返回 4096 字节,更不表示读取一条消息。

例如发送方依次写入 UTF-8 文本 HELLO 和 WORLD,接收方可能观察到以下任意分组方式:

接收情况 第一次读取 第二次读取 第三次读取
恰好分开 HELLO WORLD 无
合并到达 HELLOWORLD 无 无
被拆分 HE LLOW ORLD

三种情况下,字节总序列都是 HELLOWORLD,传输并没有出错。真正的问题是应用不知道 HELLO 在哪里结束。如果直接对每次 recv() 的结果进行 JSON 解析或消息分发,就可能得到不完整的数据,或者把两条消息错误地当成一条。

用长度前缀定义一条完整消息

一种简单可靠的方案是在每条消息前增加固定四字节长度字段。长度表示后续载荷的字节数量,而不是整个帧的长度,也不是字符串字符数。

本课约定如下格式:

字段 大小 编码和含义
Length 4 字节 无符号整数,大端字节序
Payload Length 字节 原始二进制数据,可承载 UTF-8、JSON 或其他格式

例如 你好 的 UTF-8 编码需要 6 字节,长度字段为 00 00 00 06;PING 需要 4 字节,长度字段为 00 00 00 04。两条消息连续发送后,总长度为 4 + 6 + 4 + 4 = 18 字节。

接收方必须先累计完整的 4 字节首部,再解析长度,检查长度是否超过上限,最后累计指定数量的载荷字节。完成一帧后,继续从剩余字节中解析下一帧。

长度前缀消息格式与分段读取关系

这里选择大端序,是为了让通信双方拥有明确的字节序约定。Python 的 struct.pack('!I', length) 可以生成对应首部,! 表示网络字节序,I 表示四字节无符号整数。

长度前缀属于应用层自定义帧格式,并不是所有 libp2p 协议统一使用的内置消息格式。真实项目必须让发送方和接收方遵循相同约定;如果接入已有协议,应优先使用该协议规定的消息封装方式。

实现按需累计的读帧器

下面使用 Python 3.8 及以上版本的标准库实现完整示例,不需要安装第三方依赖。encode_frame() 负责发送端编码,recv_exact() 负责循环累计指定字节数,read_frame() 负责解析帧首部和载荷。

为了让测试结果稳定,示例提供 ChunkedStream 模拟底层读取行为。它与真实阻塞式套接字使用相同的 recv(n) 调用形式,但允许人为指定每次返回的数据片段,从而重复验证消息拆分与合并。

python
import struct
from collections import deque

MAX_PAYLOAD = 1024


def encode_frame(payload: bytes) -> bytes:
    if len(payload) > MAX_PAYLOAD:
        raise ValueError('payload too large')
    return struct.pack('!I', len(payload)) + payload


def recv_exact(stream, n: int, *, allow_eof=False):
    # 循环读取,因为单次recv不保证返回所需的全部字节
    buf = bytearray()
    while len(buf) < n:
        chunk = stream.recv(n - len(buf))
        if not chunk:
            if allow_eof and not buf:
                return None
            raise EOFError('incomplete frame')
        buf.extend(chunk)
    return bytes(buf)


def read_frame(stream):
    header = recv_exact(stream, 4, allow_eof=True)
    if header is None:
        return None

    size = struct.unpack('!I', header)[0]
    # 读取载荷前验证长度,防止异常首部触发超大读取
    if size > MAX_PAYLOAD:
        raise ValueError(f'length {size} exceeds {MAX_PAYLOAD}')
    return recv_exact(stream, size)


class ChunkedStream:
    def __init__(self, chunks):
        self.chunks = deque(chunks)

    def recv(self, n):
        if not self.chunks:
            return b''
        part = self.chunks.popleft()
        if len(part) > n:
            self.chunks.appendleft(part[n:])
        return part[:n]


def main():
    wire = encode_frame('你好'.encode('utf-8')) + encode_frame(b'PING')
    # 故意拆开首部,同时让后续字节包含两个连续帧
    stream = ChunkedStream([wire[:2], wire[2:5], wire[5:]])
    print(read_frame(stream).decode('utf-8'))
    print(read_frame(stream).decode('utf-8'))
    print(read_frame(stream))

    try:
        read_frame(ChunkedStream([struct.pack('!I', 1025)]))
    except ValueError as exc:
        print('非法长度:', exc)

    try:
        read_frame(ChunkedStream([struct.pack('!I', 5), b'ab']))
    except EOFError as exc:
        print('消息截断:', exc)


if __name__ == '__main__':
    main()

将代码保存为 framing_demo.py,执行 python framing_demo.py。

预期输出:

text
你好
PING
None
非法长度: length 1025 exceeds 1024
消息截断: incomplete frame

第一条消息的首部被拆成两次读取,接收器仍然正确输出 你好。后续字节同时包含第一帧的剩余数据与完整第二帧,读取器也能正确输出 PING,不会吞掉下一条消息的开头。

这里的 None 表示在准备读取新帧首部时,流已经正常结束且没有残留半帧。它与返回空载荷 b'' 不同:如果协议允许零长度消息,长度为 0 的合法帧应返回 b'',而不是被判断为连接关闭。

如何定位部分读取和异常长度

实际网络中,部分读取本身不是故障,只要连接仍然有效,接收器就应该继续等待剩余字节。需要区别的是正常的分段到达、消息中途断流和非法首部。

观察到的情况 正确处理 不应采取的做法
首部只收到 2 字节 继续累计剩余 2 字节 立即按整数解析
声明载荷 100 字节,暂时收到 40 字节 继续接收剩余 60 字节 把前 40 字节交给业务层
一次收到两个完整帧 按长度依次解析两帧 把所有字节拼成一条业务消息
首部声明长度 1025,上限 1024 立即拒绝该连接上的帧 直接按 1025 字节读取
声明 5 字节,只收到 2 字节后 EOF 报告消息截断 把 2 字节当成完整消息

真实阻塞式 TCP 套接字可直接复用 encode_frame() 和 read_frame()。发送端调用 sock.sendall(encode_frame(payload)),接收端调用 read_frame(sock);前者负责将编码后的全部字节交给套接字发送机制,后者负责重新划分应用消息边界。

需要注意,recv() 返回空字节串表示对端已经有序关闭发送方向或连接结束,不表示当前只是暂时没有新数据。若设置了套接字超时,读取还可能抛出 socket.timeout;超时并不等于 EOF,应由连接管理逻辑决定重试、终止还是保留已经读取的部分数据。上面的同步示例针对阻塞式读取,不直接适用于非阻塞套接字的事件循环。

为真实节点增加安全边界

四字节无符号长度理论上可表达接近 4 GiB 的载荷。如果应用盲目信任远端长度,攻击者只需发送一个巨大长度首部,就可能诱导接收器占用大量内存或长期等待数据。

本示例将 MAX_PAYLOAD 设为 1024 字节,只是为了便于测试。真实节点应根据业务设置限制,例如控制消息上限 64 KiB、大型业务消息上限 1 MiB,并让发送和接收双方使用一致的限制。不要未经测量就允许任意大小的消息。

接入真实 P2P 节点时,还应落实以下检查:

  1. 在解析长度后、读取载荷前检查最大允许长度。超出上限时拒绝该帧,通常直接关闭当前协议流,避免在未知边界上继续解析。
  2. 为整个帧设置读取期限或空闲超时,防止对端只发送合法首部却始终不发送完整载荷。对于长期慢速传输,还需要考虑总体速率限制。
  3. 对同一节点的并发流数量和累计缓冲字节数设置预算,避免大量合法小帧同时占用过多内存。
  4. 只在获得完整帧后再进行 UTF-8、JSON 或 Protobuf 解码,并分别处理帧格式错误与业务载荷错误。
  5. 对半帧 EOF、非法长度和超时记录不同的错误类别。日志保留远端 Peer ID、协议名、声明长度和已读取长度,但不要默认记录完整敏感载荷。

最后可以尝试将示例中的 wire[:2] 改为 wire[:1],并调整其余切分位置,使同一帧经过更多次读取。只要全部字节保持原有顺序且没有丢失,最终输出就应该保持不变。

正确的消息边界处理应满足三个可验证条件:任意分段不会改变解析结果、连续帧不会相互污染、非法或不完整帧不会被交付业务层。长度前缀负责确定边界,循环累计负责适应字节流,长度与超时限制则负责控制不可信远端带来的资源风险。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

读取字节流时如何划分消息边界

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通