Python / 系统课时

TCP 为什么没有消息边界

TCP 为什么没有消息边界

TCP 只保证有序、可靠的字节流,不保存应用层“第几条消息”的边界。发送方连续两次 write(),接收方可能一次读到两条,也可能把一条拆成多次返回。真正可靠的做法,是在应用层定义帧格式,再按长度前缀或分隔符重建完整消息。

学习目标

  • 理解粘包、半包为什么是 TCP 字节流的正常表现。
  • 能使用长度前缀为 TCP 数据建立稳定消息边界。
  • 知道分隔符协议的适用条件与必要限制。

write 次数不会变成消息次数

假设应用先发送 hello,再发送 world。TCP 看到的只是连续字节;操作系统缓冲、网络分段、拥塞控制和接收端读取时机,都可能改变每次 read() 返回的长度。因此,“粘包”并不是两个 TCP 包真的粘在一起,“半包”也不代表传输错误,它们只是应用层观察到的读取分块不同。

TCP 字节流与应用层消息边界

应用层必须自己回答一个问题:接收端怎样知道一条消息何时结束。常见方案是固定长度、长度前缀和分隔符,其中长度前缀对二进制或任意文本负载都很通用。

用长度前缀重建两条消息

下面用 4 字节无符号整数表示负载长度,网络字节序采用 !I。客户端把两个完整帧一次性写入 TCP,服务端仍然能通过 readexactly() 逐帧解析。

python
import asyncio
import struct

def encode_frame(payload: bytes) -> bytes:
    # 帧格式固定为:4 字节长度字段 + 原始负载。
    return struct.pack('!I', len(payload)) + payload

async def read_frame(reader: asyncio.StreamReader) -> bytes:
    header = await reader.readexactly(4)
    (length,) = struct.unpack('!I', header)
    # 长度上限阻止异常帧诱导服务端等待过大负载。
    if length > 1024:
        raise ValueError('frame too large')
    return await reader.readexactly(length)

async def handle_client(reader: asyncio.StreamReader, writer: asyncio.StreamWriter) -> None:
    # 两次解析只依赖帧格式,不依赖底层 read 如何分块。
    first = await read_frame(reader)
    second = await read_frame(reader)
    print(f'server received: {first.decode()}')
    print(f'server received: {second.decode()}')

    writer.write(encode_frame(b'ACK:2'))
    await writer.drain()
    writer.close()
    await writer.wait_closed()

async def main() -> None:
    server = await asyncio.start_server(handle_client, '127.0.0.1', 0)
    port = server.sockets[0].getsockname()[1]

    async with server:
        reader, writer = await asyncio.open_connection('127.0.0.1', port)

        # 故意把两帧一次写入,证明 write 次数不是消息边界。
        batch = encode_frame(b'hello') + encode_frame(b'asyncio')
        writer.write(batch)
        await writer.drain()

        reply = await read_frame(reader)
        print(f'client received: {reply.decode()}')

        writer.close()
        await writer.wait_closed()

asyncio.run(main())

预期输出

text
server received: hello
server received: asyncio
client received: ACK:2

即使客户端把两个帧合并在一次 write() 中,服务端也不会依赖读取分块来猜边界。它先精确读取 4 字节长度,再按该长度读取负载,因此底层发生怎样的拆分或合并都不影响协议解析。

长度前缀协议要守住边界

长度字段必须设置上限。不能直接相信对端声明的长度,否则恶意或损坏的数据可以让服务端等待巨大负载,甚至造成内存压力。示例把单帧限制为 1024 字节;真实服务应按业务上限选择值,并在超限时关闭连接或返回协议错误。

还要处理 asyncio.IncompleteReadError。它表示连接在读取固定长度内容前就结束,常见于客户端异常断开或帧只发送了一部分。这类情况应作为连接级错误处理,而不是把残留字节当成完整消息。

什么时候用分隔符

文本协议如果天然拥有不会歧义的终止符,可以用 readuntil() 或 readline()。例如每条命令都以换行结束时,分隔符方案更直观;但如果负载本身允许出现分隔符,就必须转义、编码,或改用长度前缀。

设计 TCP 应用协议时,把“消息边界”视为应用层职责:发送端编码帧,接收端按同一规则解析,并对长度上限、异常 EOF 和非法数据做明确处理。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

TCP 为什么没有消息边界

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通