C / C++ / 系统课时
从字节流恢复完整消息边界
从字节流恢复完整消息边界
一次 read 或 recv 得到的数据量与业务消息数量没有对应关系:可能只有半个帧,也可能一次收到多个帧。本节实现一个增量解码器,把新字节追加到内部缓冲区,只消费已经完整的帧,并在数据不足时原样保留剩余字节等待下一次读取。
学习目标
- 正确处理半帧、完整帧和一次读取包含多帧的情况
- 理解增量解码器中检查、等待和消费缓冲区的顺序
- 对异常长度采取明确的协议错误策略而不继续错误解析
解码器只消费确定完整的数据
长度字段协议的解析顺序必须固定。缓冲区不足 4 字节时,连长度头都不完整,不能消费任何数据;得到长度后先检查合法范围;只有当缓冲区达到 4 + bodyLength 字节时,才能交付一条消息并删除对应字节。

这个顺序解决了 TCP 中最常见的两种现象。所谓“拆包”只是本次读取的数据不足以形成完整帧,此时等待即可;所谓“粘包”只是缓冲区同时存在多条完整帧,此时循环解析直到剩余数据不足一帧。
实现增量解码器
下面使用与长度字段帧一致的规则:4 字节大端长度,随后 1 字节类型和负载。feed 每次接收任意数量的新字节,并返回这次能够恢复出的所有完整消息。
#include <cstdint>
#include <iostream>
#include <stdexcept>
#include <string>
#include <vector>
constexpr std::uint32_t kMaxPayload = 1024 * 1024;
std::uint32_t readUint32BE(const std::uint8_t* p) {
return (static_cast<std::uint32_t>(p[0]) << 24) |
(static_cast<std::uint32_t>(p[1]) << 16) |
(static_cast<std::uint32_t>(p[2]) << 8) |
static_cast<std::uint32_t>(p[3]);
}
std::vector<std::uint8_t> encode(std::uint8_t type, const std::string& payload) {
const auto bodyLength = static_cast<std::uint32_t>(1 + payload.size());
std::vector<std::uint8_t> out{
static_cast<std::uint8_t>((bodyLength >> 24) & 0xff),
static_cast<std::uint8_t>((bodyLength >> 16) & 0xff),
static_cast<std::uint8_t>((bodyLength >> 8) & 0xff),
static_cast<std::uint8_t>(bodyLength & 0xff),
type
};
out.insert(out.end(), payload.begin(), payload.end());
return out;
}
struct Message {
std::uint8_t type;
std::string payload;
};
class Decoder {
public:
std::vector<Message> feed(const std::uint8_t* data, std::size_t size) {
buffer_.insert(buffer_.end(), data, data + size);
std::vector<Message> messages;
while (true) {
if (buffer_.size() < 4) {
break; // 长度头不完整,保留当前字节等待下一次 feed。
}
const std::uint32_t bodyLength = readUint32BE(buffer_.data());
if (bodyLength < 1 || bodyLength > 1 + kMaxPayload) {
throw std::runtime_error("protocol error: invalid length");
}
const std::size_t frameLength = 4 + bodyLength;
if (buffer_.size() < frameLength) {
break; // 已知目标长度,但完整帧还没有到齐。
}
const std::uint8_t type = buffer_[4];
std::string payload(buffer_.begin() + 5,
buffer_.begin() + frameLength);
messages.push_back({type, std::move(payload)});
// 只删除已经确认属于完整帧的字节,剩余数据继续参与下一轮解析。
buffer_.erase(buffer_.begin(), buffer_.begin() + frameLength);
}
return messages;
}
std::size_t bufferedBytes() const {
return buffer_.size();
}
private:
std::vector<std::uint8_t> buffer_;
};
int main() {
const auto first = encode(1, "A");
const auto second = encode(2, "BC");
std::vector<std::uint8_t> stream = first;
stream.insert(stream.end(), second.begin(), second.end());
Decoder decoder;
auto messages = decoder.feed(stream.data(), 3);
std::cout << "first feed: messages=" << messages.size()
<< " buffered=" << decoder.bufferedBytes() << '\n';
messages = decoder.feed(stream.data() + 3, stream.size() - 3);
std::cout << "second feed: messages=" << messages.size()
<< " buffered=" << decoder.bufferedBytes() << '\n';
for (const auto& message : messages) {
std::cout << static_cast<int>(message.type)
<< ' ' << message.payload << '\n';
}
}预期输出:
first feed: messages=0 buffered=3
second feed: messages=2 buffered=0
1 A
2 BC第一次只送入 3 字节,因此解码器连完整长度头都没有,不会错误消费数据。第二次把剩余字节全部送入后,缓冲区同时包含两条完整消息,循环会连续恢复两帧并最终把缓冲区清空。
异常长度不要尝试猜测边界
如果读取出的长度为 0,或者大于协议规定的最大值,问题已经不是“数据还没收完整”,而是当前连接违反协议。此时继续保留缓冲区只会让连接占用资源,尝试从后续字节扫描新边界也可能把负载内容误判成帧头。
生产实现还应对连接级缓冲区设置上限。即使帧长度本身合法,攻击者也可能长期只发送部分数据;缓冲区上限、读超时和最大帧长度需要共同限制单连接可占用的资源。
维护解码器的不变量
一个可靠的增量解码器最重要的不是复杂状态机,而是始终保持三个不变量:数据不足时不消费,数据完整时只消费一帧,消费后立即继续检查剩余缓冲区。这样同一套逻辑自然覆盖半帧、单帧和多帧,无需根据一次 recv 的返回长度猜测消息边界。
在高性能网络库里,vector::erase 会移动剩余字节,通常会进一步替换为带读写索引的连续缓冲区或环形缓冲区;但无论底层容器如何优化,完整性检查和消费顺序都不应改变。