C / C++ / 系统课时

从字节流恢复完整消息边界

从字节流恢复完整消息边界

一次 read 或 recv 得到的数据量与业务消息数量没有对应关系:可能只有半个帧,也可能一次收到多个帧。本节实现一个增量解码器,把新字节追加到内部缓冲区,只消费已经完整的帧,并在数据不足时原样保留剩余字节等待下一次读取。

学习目标

  • 正确处理半帧、完整帧和一次读取包含多帧的情况
  • 理解增量解码器中检查、等待和消费缓冲区的顺序
  • 对异常长度采取明确的协议错误策略而不继续错误解析

解码器只消费确定完整的数据

长度字段协议的解析顺序必须固定。缓冲区不足 4 字节时,连长度头都不完整,不能消费任何数据;得到长度后先检查合法范围;只有当缓冲区达到 4 + bodyLength 字节时,才能交付一条消息并删除对应字节。

增量解码器从字节流恢复消息边界的流程

这个顺序解决了 TCP 中最常见的两种现象。所谓“拆包”只是本次读取的数据不足以形成完整帧,此时等待即可;所谓“粘包”只是缓冲区同时存在多条完整帧,此时循环解析直到剩余数据不足一帧。

实现增量解码器

下面使用与长度字段帧一致的规则:4 字节大端长度,随后 1 字节类型和负载。feed 每次接收任意数量的新字节,并返回这次能够恢复出的所有完整消息。

cpp
#include <cstdint>
#include <iostream>
#include <stdexcept>
#include <string>
#include <vector>

constexpr std::uint32_t kMaxPayload = 1024 * 1024;

std::uint32_t readUint32BE(const std::uint8_t* p) {
    return (static_cast<std::uint32_t>(p[0]) << 24) |
           (static_cast<std::uint32_t>(p[1]) << 16) |
           (static_cast<std::uint32_t>(p[2]) << 8) |
           static_cast<std::uint32_t>(p[3]);
}

std::vector<std::uint8_t> encode(std::uint8_t type, const std::string& payload) {
    const auto bodyLength = static_cast<std::uint32_t>(1 + payload.size());
    std::vector<std::uint8_t> out{
        static_cast<std::uint8_t>((bodyLength >> 24) & 0xff),
        static_cast<std::uint8_t>((bodyLength >> 16) & 0xff),
        static_cast<std::uint8_t>((bodyLength >> 8) & 0xff),
        static_cast<std::uint8_t>(bodyLength & 0xff),
        type
    };
    out.insert(out.end(), payload.begin(), payload.end());
    return out;
}

struct Message {
    std::uint8_t type;
    std::string payload;
};

class Decoder {
public:
    std::vector<Message> feed(const std::uint8_t* data, std::size_t size) {
        buffer_.insert(buffer_.end(), data, data + size);
        std::vector<Message> messages;

        while (true) {
            if (buffer_.size() < 4) {
                break; // 长度头不完整,保留当前字节等待下一次 feed。
            }

            const std::uint32_t bodyLength = readUint32BE(buffer_.data());
            if (bodyLength < 1 || bodyLength > 1 + kMaxPayload) {
                throw std::runtime_error("protocol error: invalid length");
            }

            const std::size_t frameLength = 4 + bodyLength;
            if (buffer_.size() < frameLength) {
                break; // 已知目标长度,但完整帧还没有到齐。
            }

            const std::uint8_t type = buffer_[4];
            std::string payload(buffer_.begin() + 5,
                                buffer_.begin() + frameLength);
            messages.push_back({type, std::move(payload)});

            // 只删除已经确认属于完整帧的字节,剩余数据继续参与下一轮解析。
            buffer_.erase(buffer_.begin(), buffer_.begin() + frameLength);
        }
        return messages;
    }

    std::size_t bufferedBytes() const {
        return buffer_.size();
    }

private:
    std::vector<std::uint8_t> buffer_;
};

int main() {
    const auto first = encode(1, "A");
    const auto second = encode(2, "BC");

    std::vector<std::uint8_t> stream = first;
    stream.insert(stream.end(), second.begin(), second.end());

    Decoder decoder;
    auto messages = decoder.feed(stream.data(), 3);
    std::cout << "first feed: messages=" << messages.size()
              << " buffered=" << decoder.bufferedBytes() << '\n';

    messages = decoder.feed(stream.data() + 3, stream.size() - 3);
    std::cout << "second feed: messages=" << messages.size()
              << " buffered=" << decoder.bufferedBytes() << '\n';
    for (const auto& message : messages) {
        std::cout << static_cast<int>(message.type)
                  << ' ' << message.payload << '\n';
    }
}

预期输出:

text
first feed: messages=0 buffered=3
second feed: messages=2 buffered=0
1 A
2 BC

第一次只送入 3 字节,因此解码器连完整长度头都没有,不会错误消费数据。第二次把剩余字节全部送入后,缓冲区同时包含两条完整消息,循环会连续恢复两帧并最终把缓冲区清空。

异常长度不要尝试猜测边界

如果读取出的长度为 0,或者大于协议规定的最大值,问题已经不是“数据还没收完整”,而是当前连接违反协议。此时继续保留缓冲区只会让连接占用资源,尝试从后续字节扫描新边界也可能把负载内容误判成帧头。

生产实现还应对连接级缓冲区设置上限。即使帧长度本身合法,攻击者也可能长期只发送部分数据;缓冲区上限、读超时和最大帧长度需要共同限制单连接可占用的资源。

维护解码器的不变量

一个可靠的增量解码器最重要的不是复杂状态机,而是始终保持三个不变量:数据不足时不消费,数据完整时只消费一帧,消费后立即继续检查剩余缓冲区。这样同一套逻辑自然覆盖半帧、单帧和多帧,无需根据一次 recv 的返回长度猜测消息边界。

在高性能网络库里,vector::erase 会移动剩余字节,通常会进一步替换为带读写索引的连续缓冲区或环形缓冲区;但无论底层容器如何优化,完整性检查和消费顺序都不应改变。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

从字节流恢复完整消息边界

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通