计算机网络 / 知识点
网络协议常用报文格式速查
实时通信与消息
查询 FIN、Opcode、MASK、载荷长度、掩码键和 Payload Data 的布局,适合实现帧编解码并区分文本、二进制及控制帧。
WebSocket 帧
实现帧编解码或排查抓包时,先按固定头部读取 FIN、RSV1-3、Opcode、MASK 和 Payload Length,再根据长度规则读取扩展长度、Masking-Key 与 Payload Data。
字段怎么判读
| 字段 | 含义 | 判读要点 |
|---|---|---|
FIN |
是否为消息最后一帧 | 1 表示当前帧结束消息,0 表示后续还有分片 |
Opcode |
帧类型 | 0x0 延续帧;0x1 文本;0x2 二进制;0x8 关闭;0x9 Ping;0xA Pong |
MASK |
Payload 是否经过掩码 | 客户端发送到服务端的帧通常使用掩码;具体以协议端角色和实现为准 |
Payload Length |
负载长度编码 | 0-125 直接表示;126 后跟 2 字节长度;127 后跟 8 字节长度 |
Masking-Key |
4 字节掩码键 | 仅当 MASK=1 时存在,用于恢复 Payload |
Payload Data |
实际帧数据 | 文本、二进制或控制数据取决于 Opcode |
最小帧布局
典型数据顺序为:2 字节基础头 → 可选扩展长度 → 可选 4 字节 Masking-Key → Payload Data。控制帧需要额外检查是否为完整帧以及负载长度是否符合其控制帧约束。
可验证示例
下面用固定的未掩码文本帧 81 05 48 65 6C 6C 6F 解码基础字段;这是一个完整帧示例。
frame = bytes.fromhex("81 05 48 65 6C 6C 6F")
first, second = frame[0], frame[1]
fin = (first >> 7) & 1
opcode = first & 0x0F
masked = (second >> 7) & 1
length = second & 0x7F
payload = frame[2:2 + length]
print(fin, hex(opcode), masked, length, payload.decode("utf-8"))预期输出:
1 0x1 0 5 Hello这里 FIN=1、Opcode=0x1、MASK=0、负载长度为 5,Payload Data 是 Hello。真实抓包中若长度字段为 126 或 127,不能直接把该字段当作实际长度。
适用范围与误用
帧格式用于 WebSocket 协议层解析,不等同于应用消息格式;一条消息可能由多个帧组成。解析实现还应校验保留位、控制帧规则、扩展协商及掩码处理,扩展字段是否可用取决于握手阶段协商结果。
对照 event、data、id、retry 字段及空行分隔规则,适合解析 text/event-stream 响应中的连续事件,并正确处理多行 data 字段。
SSE 事件流
解析 text/event-stream 响应时,先按事件块之间的空行切分,再逐行识别 event、data、id 和 retry。同一个事件可以包含多行 data,处理时不能只取最后一行。
字段怎么判读
| 字段 | 含义 | 解析动作 |
|---|---|---|
event |
事件类型 | 未出现时使用默认事件类型语义;业务端可按名称分发 |
data |
事件数据 | 每个 data 行分别读取,属于同一事件时按规则拼接 |
id |
事件标识 | 更新客户端保存的最后事件 ID,可用于后续重连场景 |
retry |
重连等待时间 | 有效的数值字段可作为客户端重连等待时间提示 |
| 空行 | 事件结束标志 | 空行提交当前事件;事件之间必须据此分界 |
以 : 开头的行 |
注释 | 不作为事件字段提交,可用于保持连接等场景 |
多行 data 的关键规则
同一事件中的多个 data 字段属于同一个事件。解析时应按出现顺序收集其值,并在事件提交时按 SSE 规则拼接;不要把第二个 data 当成新事件。
可验证示例
下面用一段固定的 SSE 文本验证字段解析和多行 data 合并行为,不依赖外部服务。
stream = "event: message\\nid: 42\\ndata: first line\\ndata: second line\\nretry: 3000\\n\\n"
fields = {}
for line in stream.splitlines():
if not line:
break
if line.startswith(":"):
continue
name, sep, value = line.partition(":")
if not sep:
continue
value = value[1:] if value.startswith(" ") else value
fields.setdefault(name, []).append(value)
print(fields["event"][0])
print("\\n".join(fields["data"]))
print(fields["id"][0])
print(fields["retry"][0])预期输出:
message
first line
second line
42
3000适用范围与误用
SSE 内容是基于文本的事件流,服务端响应通常使用 Content-Type: text/event-stream。解析器应持续读取流,而不是等待整个 HTTP 响应结束;同时要正确处理注释行、空事件块以及连接中断。具体重连策略和 Last-Event-ID 的发送方式还取决于客户端实现。
查询控制报文类型、Flags 和 Remaining Length 的编码方式,适合从 MQTT 字节流识别报文类型并计算后续可变报头与载荷范围。
MQTT 固定报头
分析 MQTT 原始字节流时,先看固定报头即可确定控制报文类型、首字节 Flags 以及可变报头和 Payload 从哪里开始。该格式适用于 MQTT 3.1.1 与 MQTT 5.0,具体 Flags 取值仍需结合报文类型判断。
值与含义
| 字段 | 编码位置 | 含义 |
|---|---|---|
| Packet Type | 第 1 字节高 4 位 | 标识 CONNECT、PUBLISH、SUBSCRIBE 等控制报文类型 |
| Flags | 第 1 字节低 4 位 | 按控制报文类型定义具体位值;PUBLISH 的 4 位具有独立含义 |
| Remaining Length | 第 2 字节起 | 表示后续可变报头、Payload 及属性等剩余字节总数 |
Remaining Length 使用 MQTT Variable Byte Integer 编码,每字节低 7 位承载数据,最高位表示后续是否还有字节;编码最多 4 字节,最大值为 268435455。
判读线索
首字节可按 $type=(b0>>4)$、flags=b0&0x0f 拆分。例如 0x10 的高 4 位是 1,表示 CONNECT;低 4 位为 0,符合 CONNECT 固定 Flags。
剩余长度不是“当前报文总长度”。首字节占 1 字节,后面的 Remaining Length 编码占 1~4 字节,而 Remaining Length 本身只计算其后的内容。
快速确认
10 0C 00 04 4D 51 54 54 04 02 00 3C预期结果:第 1 字节 10 表示 CONNECT;其中 1 是 Packet Type,0 是 Flags。第 2 字节 0C 表示后续固定报头之后还有 12 字节内容,因此应继续读取 12 字节才能得到完整报文。
建议动作
排查抓包时先固定拆成“类型 → Flags → Remaining Length → 后续内容”四步,再依据具体控制报文解释后续字段。若 Remaining Length 与实际剩余字节数不一致,应先检查截包、拼包或解码边界,而不要直接按字段猜测内容。
适用范围:上述编码规则以 MQTT 3.1.1 和 MQTT 5.0 的固定报头定义为准;控制报文各自允许的 Flags 组合需查对应版本规范。
对照协议名、协议版本、连接标志、Keep Alive、属性和 Payload 的组织方式,适合排查客户端建连参数以及认证和遗嘱信息编码。
MQTT CONNECT 报文
排查 MQTT 客户端建连失败、认证参数或遗嘱配置时,重点按“固定报头 → 协议级别 →连接标志 → Keep Alive → MQTT 5 属性 → Payload”顺序检查。MQTT 3.1.1 与 MQTT 5.0 在连接标志命名和属性部分存在差异。
值与含义
| 字段 | 位置 | 含义 |
|---|---|---|
| Protocol Name | 可变报头 | MQTT 协议名;规范连接使用 UTF-8 字符串 MQTT |
| Protocol Level | 可变报头 | 3.1.1 使用 4,5.0 使用 5 |
| Connect Flags | 可变报头 | 控制 Clean Session/Clean Start、Will、Username、Password 等选项 |
| Keep Alive | 可变报头 | 2 字节无符号整数,单位为秒 |
| Properties | MQTT 5 | 属性长度后跟属性列表;MQTT 3.1.1 没有该字段 |
| Client ID | Payload | 客户端标识;实际约束取决于协议版本与服务端配置 |
| Will | Payload | 启用遗嘱后,依次承载相关 Will 属性及主题、Payload 等数据 |
| Username / Password | Payload | 由 Connect Flags 中对应位控制是否出现 |
判读线索
CONNECT 的固定报头首字节应为 0x10,因为 Packet Type 为 1 且 CONNECT 的低 4 位 Flags 必须为 0000。继续解析时,先读取协议名和 Protocol Level,再解释 Connect Flags,避免把 MQTT 3.1.1 的 Clean Session 与 MQTT 5.0 的 Clean Start 混为同一字段。
在 MQTT 5.0 中,连接标志之后还有 Keep Alive 和 Properties;这使得 Payload 起始位置不能按 MQTT 3.1.1 的固定偏移直接推断。
最小报文对照
10 0C 00 04 4D 51 54 54 04 02 00 3C预期结果:报文类型为 CONNECT;协议名为 MQTT;Protocol Level 为 04,对应 MQTT 3.1.1;Connect Flags 为 02,表示 Clean Session 已设置;Keep Alive 为 0x003C,即 60 秒。Remaining Length 为 12,因此示例只覆盖到 Keep Alive,后续未包含完整 Payload。
建议动作
客户端建连异常时,先确认 Protocol Level 与服务端支持版本一致,再逐位核对 Connect Flags;启用遗嘱后检查 Will 的相关长度、主题和 Payload 是否与标志位一致;使用 MQTT 5.0 时额外检查 Properties 的长度与属性编码。
适用范围:字段顺序依据 MQTT 3.1.1 与 MQTT 5.0 CONNECT 报文结构;服务端对 Client ID、认证方式、遗嘱和属性的具体限制属于实现或配置差异,不能仅凭 CONNECT 基础格式判断。
查询连接确认中的会话状态、原因码和属性字段,适合判断 Broker 是否接受连接,并从协议级响应定位认证或能力协商问题。
MQTT CONNACK 报文
连接建立后查 CONNACK,可以确认 Broker 是否接受连接,并进一步判断会话是否复用、拒绝原因以及 MQTT 5.0 的服务端能力参数。
字段对照
| 字段 | MQTT 3.1.1 | MQTT 5.0 | 判读要点 |
|---|---|---|---|
| Acknowledge Flags | 必有,bit 0 为 Session Present |
必有,bit 0 为 Session Present |
1 表示服务端存在可复用会话;具体能否成立取决于客户端会话设置与服务端状态 |
| Return Code / Reason Code | Return Code | Reason Code | 0x00 表示成功;非 0x00 表示连接未按成功路径建立 |
| Properties | 无 | 有 | MQTT 5.0 用于返回会话、能力、认证及服务端信息 |
快速判读
| 线索 | 含义 | 建议动作 |
|---|---|---|
Acknowledge Flags 为 0x01 |
Session Present 置位 | 按持久会话场景检查已有订阅和会话状态 |
Reason Code 为 0x00 |
Broker 接受连接 | 继续处理后续 PUBLISH、SUBSCRIBE 等报文 |
Reason Code 非 0x00 |
连接被拒绝或未成功建立 | 先按原因码定位协议、认证、权限或服务端状态问题 |
| MQTT 5.0 返回属性 | 服务端额外声明能力或状态 | 对照属性标识符解析,不要按 MQTT 3.1.1 固定两字节响应处理 |
最小报文
以下为 MQTT 3.1.1 成功 CONNACK 的典型字节序列:固定头 20,剩余长度 02,随后为 Session Present 和 Return Code。
20 02 00 00预期结果:解析为 Session Present = 0、Return Code = 0x00,表示服务端接受连接且当前响应未声明可复用会话。
MQTT 5.0 差异
MQTT 5.0 的 CONNACK 在成功/失败原因码之后增加 Properties 字段,因此不能直接套用 3.1.1 的固定长度解析。属性总长度使用 MQTT 的 Variable Byte Integer 编码,后续再按属性标识符和类型读取。
20 03 00 00 00预期结果:解析为 Session Present = 0、Reason Code 0x00、Properties Length 0;这是不携带任何 MQTT 5.0 属性的成功 CONNACK 示例。
来源与适用范围
字段结构以上述 MQTT 3.1.1 与 MQTT 5.0 协议定义为准。实际 Broker 可能根据配置返回不同的原因码和属性;解析器应先由 CONNECT 协商出的协议版本决定 CONNACK 的字段布局,避免把 MQTT 5.0 属性当成 Payload 或把 3.1.1 的返回码表直接套到 5.0。
对照 DUP、QoS、RETAIN、Topic Name、Packet Identifier、属性与 Payload,适合实现消息发布编解码并区分不同 QoS 下的字段差异。
MQTT PUBLISH 报文
查 PUBLISH 报文时先解固定头四个关键位,再按 QoS 判断是否存在 Packet Identifier,最后读取 Topic Name、MQTT 5.0 Properties 和 Payload。
字段对照
| 字段 | 出现条件 | 含义 | 判读要点 |
|---|---|---|---|
| DUP | 始终存在于固定头 | 是否为同一客户端此前发布报文的再次发送标志 | 不能单独把 DUP=1 当成“服务器已经收到过” |
| QoS | 始终存在于固定头 | 投递等级 | 0、1、2 有不同确认流程;3 为协议保留非法组合 |
| RETAIN | 始终存在于固定头 | 是否请求 Broker 保留该消息作为该 Topic 的保留消息 | 1 的具体效果由 Broker 对 Retained Message 的支持与行为决定 |
| Topic Name | 始终存在 | 发布目标主题 | 必须按 MQTT UTF-8 字符串格式解码 |
| Packet Identifier | QoS 1/2 | 匹配后续确认报文的标识 | QoS 0 不携带此字段 |
| Properties | MQTT 5.0 | 本次发布的属性集合 | MQTT 3.1.1 没有该字段 |
| Payload | 可为空 | 应用消息内容 | 长度由 Remaining Length 和前置字段共同确定 |
固定头判读
PUBLISH 的固定头第一个字节中,DUP、QoS、RETAIN 共同决定后续解析路径。尤其要先得到 QoS,再决定是否读取两个字节的 Packet Identifier。
30 05 00 02 68 69预期结果:固定头 0x30 表示 DUP=0、QoS=0、RETAIN=0;剩余长度为 5;Topic Name 长度为 2,Topic 为 hi,且因为 QoS 为 0,后面直接进入 Payload,本例 Payload 为空。
完整结构
MQTT 3.1.1 中,QoS 0 的核心布局可理解为 Topic Name + Payload;QoS 1/2 在 Topic Name 后增加 Packet Identifier。MQTT 5.0 则在 Packet Identifier(若存在)之后再增加 Properties。
PUBLISH
├─ Fixed Header: DUP + QoS + RETAIN
├─ Remaining Length
├─ Topic Name
├─ Packet Identifier (QoS 1/2)
├─ Properties (MQTT 5.0)
└─ PayloadQoS 差异
| QoS | Packet Identifier | 发布后的典型确认 | 编解码重点 |
|---|---|---|---|
| 0 | 无 | 无发布确认报文 | Topic 后直接解析 Payload 或 MQTT 5.0 Properties/Payload |
| 1 | 有 | PUBACK |
Packet Identifier 必须参与请求与确认匹配 |
| 2 | 有 | PUBREC → PUBREL → PUBCOMP |
除发布报文外,还需处理完整的四步交互状态 |
版本与边界
MQTT 3.1.1 的 PUBLISH 没有 Properties;MQTT 5.0 在相应位置增加 Properties。实现编解码器时,应先确定协议版本,再根据 QoS 决定 Packet Identifier 是否存在。实际 Payload 可以是文本、JSON、二进制或其他应用格式,协议本身不规定其业务内容。
查询 Packet Identifier、属性以及主题过滤器订阅项的编码布局,适合检查订阅请求中的主题、QoS 和订阅选项是否正确编码。
MQTT SUBSCRIBE 报文
需要核对 MQTT 客户端发出的订阅请求时,重点查看固定头、Packet Identifier、属性、主题过滤器和订阅选项。MQTT 5.0 的 SUBSCRIBE 中属性字段位于 Packet Identifier 之后,可据此定位主题或 QoS 编码错误。
字段怎么对照
| 字段 | 含义 | 判读线索 |
|---|---|---|
| 固定头 | 报文类型与剩余长度 | SUBSCRIBE 的第一个字节应为 0x82,低四位固定为 0010 |
| Packet Identifier | 当前订阅请求的标识 | 占 2 字节,取值不能为 0x0000 |
| Properties | MQTT 5.0 属性集合 | 先读属性长度,再按属性编码读取;无属性时长度为 0x00 |
| Topic Filter | 要订阅的主题过滤器 | 前 2 字节是 UTF-8 字符串长度 |
| Subscription Options | 单个主题过滤器的订阅选项 | 低 2 位为 Requested QoS;其余位承载 No Local、Retain As Published、Retain Handling |
快速确认
下面示例按 MQTT 5.0 编码一个订阅 sensors/temp、请求 QoS 1 的 SUBSCRIBE 报文。
packet = bytes.fromhex("82 12 00 01 00 00 0c 73 65 6e 73 6f 72 73 2f 74 65 6d 70 01")
remaining_length = packet[1]
packet_id = int.from_bytes(packet[2:4], "big")
properties_length = packet[4]
topic_length = int.from_bytes(packet[5:7], "big")
topic_end = 7 + topic_length
topic = packet[7:topic_end].decode("utf-8")
subscription_options = packet[topic_end]
requested_qos = subscription_options & 0x03
print(remaining_length, packet_id, properties_length, topic, requested_qos)预期输出
18 1 0 sensors/temp 1这里剩余长度为 18,表示从 Packet Identifier 开始到报文末尾共有 18 个字节。若实际抓包的长度、主题长度或属性长度与此布局不一致,应先重新定位变量头边界,而不是直接按固定偏移读取。
出现异常时看哪里
订阅主题错误时,先核对 Topic Filter 的 UTF-8 长度是否与实际字节数一致;QoS 错误则检查 Topic Filter 后紧跟的 Subscription Options。若固定头不是 0x82,通常说明当前报文类型、标志位或抓包边界判断有误。
MQTT 5.0 与 MQTT 3.1.1 的变量头不同:MQTT 5.0 在 Packet Identifier 后有 Properties Length,而 MQTT 3.1.1 没有该字段。解析时必须先确认协议版本,不能把两种布局混读。
物联网与设备协议
对照 Version、Type、Token Length、Code、Message ID、Token、Options 和 Payload,适合解析受限设备上的 CoAP UDP 消息。
CoAP 基本报文
需要解析 CoAP UDP 数据包时,先读固定 4 字节头,再根据 Token Length 判断 Token 是否存在,随后按 Option 编码读取选项,最后用 0xFF 识别 Payload 起点。这样可以快速定位版本、消息类型和请求方法。
固定头怎么对照
| 字段 | 长度 | 含义 |
|---|---|---|
| Version | 2 bit | CoAP 版本;RFC 7252 定义的基础格式使用 01,即版本 1 |
| Type | 2 bit | 0 CON、1 NON、2 ACK、3 RST |
| Token Length | 4 bit | Token 长度,范围为 0~8 字节 |
| Code | 1 byte | 请求方法或响应代码;例如 0.01 GET 编码为 0x01 |
| Message ID | 2 byte | 消息匹配标识,网络字节序 |
| Token | 0~8 byte | 用于匹配请求与响应,长度由 TKL 决定 |
| Options | 可变 | 采用 Delta/Length 编码,按顺序出现 |
| Payload | 可选 | 若存在,Option 区结束后以 0xFF 作为 Payload Marker |
快速确认
下面报文 40 01 12 34 表示一个无 Token 的 CON GET 请求,Message ID 为 0x1234,当前没有 Options 和 Payload。
packet = bytes.fromhex("40 01 12 34")
first = packet[0]
version = first >> 6
type_code = (first >> 4) & 0x03
tkl = first & 0x0F
code = packet[1]
message_id = int.from_bytes(packet[2:4], "big")
print(version, type_code, tkl, code, f"0x{message_id:04x}")预期输出
1 0 0 1 0x1234判读时,版本 1 对应 CoAP Version 1,Type 0 对应 CON,TKL 0 表示没有 Token,Code 1 即请求代码 0.01 GET。如果 UDP 数据后面还有字节,再继续从第 5 个字节检查 Token、Options 和 Payload。
解析时的边界
TKL 大于 0 时,必须先读取对应数量的 Token,再开始解析 Options。Option 不是固定宽度字段,需按每个 Option 的 Delta 和 Length 继续计算位置;不能用固定偏移跳过。
如果出现 0xFF,它只能作为 Payload Marker 使用,后面必须存在至少一个 Payload 字节;因此抓包排障时要同时检查包长,避免把普通数据误认成 Payload。基础报文格式以 CoAP RFC 7252 为准,具体 Option、扩展格式及后续规范应以目标实现支持的 CoAP 版本和规范为准。
查询 Option Delta、Option Length 与扩展值的紧凑编码方式,适合逐项解析 Uri-Path、Content-Format 等选项并定位 Payload Marker。
CoAP Option 编码
解析 CoAP Option 时,优先查看每个 Option 首字节中的 Delta 与 Length;遇到 13、14 这类扩展值时,再读取后续扩展字节。这样可以按顺序还原选项编号、长度和实际值,并判断 Payload Marker 是否已经开始。
值与含义
| 字段 | 编码范围 | 含义 |
|---|---|---|
| Option Delta | 0–12 | 直接表示本 Option 与前一 Option 编号的差值 |
| Option Length | 0–12 | 直接表示 Option Value 的字节长度 |
| Delta/Length = 13 | 后续 1 字节 | 实际值为该字节数值加 13 |
| Delta/Length = 14 | 后续 2 字节 | 实际值为该 16 位数值加 269 |
| Delta/Length = 15 | 保留值 | 不应作为普通 Option 编码使用;值区之后的 Payload Marker 为单独的 0xFF |
Option 编号按当前条目的 Delta 累加,而不是直接从编码字节读取绝对编号。因此解析 Uri-Path、Content-Format 等选项时,需要保留前一个 Option 编号。
判读线索
首字节高 4 位是 Delta,低 4 位是 Length。若任一半字节为 13 或 14,不能把该半字节直接当作实际数值;必须继续读取扩展字段。Option Value 的长度由最终解析出的 Length 决定。
当连续字节中出现 0xFF 时,它不是普通 Option 的 Delta/Length,而是 Payload Marker,后续字节开始进入 Payload。
快速确认
下面的片段演示一个带扩展 Delta 的 Option 编码如何按字节拆解;它是独立的解析片段,不代表某个特定 CoAP 消息的完整报文。
from typing import Tuple
def decode_nibble(value: int, data: bytes, offset: int) -> Tuple[int, int]:
if value <= 12:
return value, offset
if value == 13:
if offset >= len(data):
raise ValueError("missing 1-byte extension")
return data[offset] + 13, offset + 1
if value == 14:
if offset + 1 >= len(data):
raise ValueError("missing 2-byte extension")
return int.from_bytes(data[offset:offset + 2], "big") + 269, offset + 2
raise ValueError("reserved nibble 15")
packet = bytes([0xD1, 0x2C])
first = packet[0]
delta, offset = decode_nibble(first >> 4, packet, 1)
length, offset = decode_nibble(first & 0x0F, packet, offset)
print(delta, length, offset)预期输出
13 1 2这里 0xD1 的 Delta 半字节为 13,因此实际 Delta 从后续字节 0x0C 得到 12 + 13 = 25;Length 为 1。示例只验证编码规则,实际报文还需结合前一个 Option 编号和 Value 内容解析。
适用范围
以上字段布局适用于 CoAP Option 的标准紧凑编码;具体 Option 的编号、语义和值类型应以目标 CoAP 规范及所使用扩展定义为准。解析时不要把 Payload Marker 0xFF 当成普通 Option 首字节。
对照事务标识、协议标识、长度、单元标识和 PDU 的 MBAP 结构,适合解析 Modbus TCP 请求响应并核对帧长度与设备地址。
Modbus TCP ADU
解析 Modbus TCP 报文时,先把前 7 字节作为 MBAP Header,再按 Length 字段确定后续 PDU 边界。这样可以核对请求与响应是否属于同一事务、PDU 是否完整,以及 Unit Identifier 是否符合当前设备或网关语境。
值与含义
| 字段 | 长度 | 含义 |
|---|---|---|
| Transaction Identifier | 2 字节 | 请求与响应的事务关联标识 |
| Protocol Identifier | 2 字节 | Modbus TCP 使用的协议标识;正常 Modbus TCP 报文应为 0x0000 |
| Length | 2 字节 | 从 Unit Identifier 开始,到 PDU 末尾的字节数 |
| Unit Identifier | 1 字节 | 单元标识,常用于标识目标单元或网关后的设备 |
| PDU | 可变 | Function Code 与其数据部分 |
因此,整帧长度满足 7 + Length 字节。Length 不是整个 TCP ADU 的总长度,也不包含 MBAP Header 的前 6 字节。
判读线索
首先检查 Protocol Identifier;若不是 0x0000,应先确认是否确实是 Modbus TCP 数据。然后读取 Length,并验证抓包中剩余字节数是否足够。请求和响应通常通过相同 Transaction Identifier 进行关联,而响应 PDU 还需结合 Function Code 判断正常结果或异常响应。
Unit Identifier 的实际意义取决于设备和网络拓扑,尤其经过 Modbus TCP 到串行 Modbus 网关时,不应仅凭数值推断真实设备地址。
快速确认
下面的片段按网络字节序解析一个完整的 Modbus TCP ADU;示例只展示 MBAP 边界校验与字段提取。
import struct
adu = bytes.fromhex("000100000006010300000001")
transaction_id, protocol_id, length = struct.unpack(">HHH", adu[:6])
unit_id = adu[6]
pdu = adu[7:]
print(transaction_id, protocol_id, length, unit_id, len(pdu))
print(pdu.hex())预期输出
1 0 6 1 5
0300000001这里 Length=6,表示从 Unit Identifier 开始到 PDU 末尾共有 6 字节,因此整帧应为 7 + 6 = 13 字节。若抓到的字节数与该关系不符,应优先检查截包、粘包解析边界或 Length 字段。
适用范围
上述 MBAP 字段布局适用于 Modbus TCP 报文。Function Code 之后的 PDU 具体长度和字段含义由对应功能码决定;Unit Identifier 的业务解释可能随设备、串网关和厂商实现而变化,不宜把它直接等同于所有场景下的从站地址。
查询从站地址、功能码、数据区和 CRC 的帧布局,适合串口设备协议实现与抓包分析,并结合功能码确定可变数据区结构。
Modbus RTU 帧
需要解析串口抓包、编写 RTU 收发程序或定位设备通信异常时,先按字节边界拆出从站地址、功能码、数据区和 CRC;确认功能码后,再按对应功能解释数据字段。
帧布局
Modbus RTU 的基本帧按顺序由地址、功能码、数据和 CRC 组成,实际数据区长度取决于功能码。
| 字段 | 长度 | 含义 | 判读要点 |
|---|---|---|---|
| 从站地址 | 1 字节 | 目标设备地址 | 常见地址范围为 1~247;0 为广播地址 |
| 功能码 | 1 字节 | 指示请求或响应的操作类型 | 如 0x03 表示读保持寄存器 |
| 数据 | 可变 | 起始地址、数量、字节数、寄存器值等 | 必须结合功能码解释 |
| CRC | 2 字节 | RTU 帧校验 | CRC 低字节先发送,高字节后发送 |
出现条件
正常请求通常以“地址 + 功能码 + 数据 + CRC”组成;响应继续以地址和功能码开头。若功能码最高位被置位,例如请求为 0x03 而响应为 0x83,通常表示从站返回异常响应,此时数据区包含异常码。
广播请求不会返回普通响应,抓包时不能把“没有响应”直接判定为通信失败。
判读线索
| 线索 | 含义 | 建议动作 |
|---|---|---|
| 地址与预期从站不一致 | 请求发给了其他设备或抓包位置包含其他会话 | 先核对设备地址和线路 |
| 功能码与业务不符 | 请求解释方式选错,或主站发送了不同操作 | 按功能码重新解析数据区 |
| 数据长度异常 | 字段边界可能解析错误 | 按具体功能码检查固定长度与可变长度 |
| CRC 校验失败 | 帧内容可能被损坏、截断或参数解析错误 | 重新检查串口参数、帧边界和 CRC 计算 |
响应功能码为请求功能码 + 0x80 |
异常响应 | 继续读取异常码并按设备文档处理 |
最小例子
以下十六进制帧表示从地址 1 的设备读取保持寄存器,起始地址为 0,读取 1 个寄存器。末两字节为 CRC,发送顺序为低字节在前。
01 03 00 00 00 01 84 0A判读:01 是从站地址,03 是读保持寄存器,00 00 是起始地址,00 01 是读取数量,84 0A 是 CRC 的低字节与高字节。CRC 具体数值应由帧前 6 个字节计算得到。
适用范围
上述布局对应 Modbus RTU 的通用帧组织方式;数据字段的具体含义由功能码决定。串口波特率、校验方式、停止位属于链路配置,不是 RTU 帧本身的字段。
速查时先确认地址和功能码,再按功能码解析数据区,最后校验 CRC 与帧边界。
对照功能码 0x03 请求中的起始地址与数量,以及响应中的字节数和寄存器值,适合实现最常见的保持寄存器批量读取。
Modbus 读保持寄存器
需要读取设备的保持寄存器时,查功能码 0x03 的请求与响应布局即可确定起始地址、读取数量、字节数和寄存器数据的边界。
请求字段
0x03 请求固定包含从站地址、功能码、起始地址和寄存器数量,最后附 CRC。起始地址和数量都以两个字节表示,高字节在前。
| 字段 | 长度 | 含义 | 约束 |
|---|---|---|---|
| 从站地址 | 1 字节 | 目标设备 | 通常为 1~247 |
| 功能码 | 1 字节 | 读保持寄存器 | 固定为 0x03 |
| 起始地址 | 2 字节 | 第一个寄存器地址 | 高字节在前 |
| 数量 | 2 字节 | 连续读取的寄存器数 | 具体允许范围应以目标设备实现为准 |
| CRC | 2 字节 | 帧校验 | 低字节先发送 |
响应字段
正常响应先返回地址和 0x03,随后给出数据区字节数。每个寄存器占 2 字节,因此字节数等于寄存器数量乘以 2。
| 字段 | 长度 | 含义 | 判读动作 |
|---|---|---|---|
| 从站地址 | 1 字节 | 响应设备 | 应与请求地址对应 |
| 功能码 | 1 字节 | 读取操作 | 正常响应为 0x03 |
| 字节数 | 1 字节 | 后续寄存器数据长度 | 应与数量 × 2 对应 |
| 寄存器数据 | 可变 | 连续寄存器值 | 每 2 字节组成一个寄存器 |
| CRC | 2 字节 | 帧校验 | 校验整帧有效性 |
最小例子
下面请求地址 1 的设备,从地址 0x0000 开始读取 1 个保持寄存器:
01 03 00 00 00 01 84 0A对应的正常响应可以按如下字段读取。假设设备返回的寄存器值为 0x0064,则数据区包含 2 个字节,完整响应形态如下;末两字节必须以实际 CRC 计算结果为准。
01 03 02 00 64 <CRC_LO> <CRC_HI>预期结果:解析得到从站地址 01、功能码 03、字节数 02,以及一个 16 位寄存器值 0x0064;<CRC_LO> 和 <CRC_HI> 表示针对前面响应字节计算出的 CRC,实际抓包值可能不同。
异常与边界
若响应功能码变为 0x83,说明设备返回了 0x03 的异常响应,此时不要按正常数据区读取寄存器值,而应继续解析异常码。请求中的数量不能只看“设备允许的最大值”,还要同时受目标设备寄存器地址范围和实现限制约束。
适用范围
0x03 的标准字段布局适用于 Modbus 应用协议中的读保持寄存器请求与正常响应;具体可读地址范围、最大读取数量以及寄存器值的业务含义由设备寄存器表决定。
速查时先校对 起始地址 + 数量,再用响应首部的 字节数 验证数据边界,最后检查 CRC。
查询最高位被置 1 的异常功能码与异常码字段,适合在设备返回短响应时识别非法功能、非法地址或设备故障等协议级错误。
Modbus 异常响应
设备返回的响应功能码最高位为 1 时,应按异常响应解析;继续读取后续 1 字节即可得到异常码,用于定位请求为何没有按正常功能处理。
值与含义
| 字段 | 判断方式 | 含义 | 建议动作 |
|---|---|---|---|
| 异常功能码 | 原功能码 + 0x80 |
表示本次响应是异常响应 | 先还原原功能码,再查异常码 |
01 |
Illegal Function | 设备不支持请求的功能 | 核对功能码与设备能力 |
02 |
Illegal Data Address | 地址或寄存器范围非法 | 检查起始地址与数量 |
03 |
Illegal Data Value | 请求字段中的值不被接受 | 检查数量、参数范围或格式 |
04 |
Server Device Failure | 设备处理请求时发生异常 | 检查设备状态并结合设备日志判断 |
Modbus 应用协议规范 V1.1b3 明确规定异常响应 PDU 由“原功能码加 0x80”和 1 字节 Exception Code 组成;具体设备还可能按实现支持更多异常码,应以目标设备文档为准。
出现条件
以功能码 01 为例,正常响应仍以 01 开头;异常响应则变为 81。因此看到 81 02 时,应解释为“对功能码 01 的请求返回异常码 02”,而不是把 81 当成新的独立功能。
快速确认
response = bytes.fromhex("81 02")
# Modbus 异常响应 PDU 至少包含功能码和异常码两个字节。
function_code = response[0]
exception_code = response[1]
print(f"function=0x{function_code:02X}")
print(f"exception=0x{exception_code:02X}")
print("base_function=0x{0:02X}".format(function_code - 0x80))预期输出
function=0x81
exception=0x02
base_function=0x01这里使用的是不含 Modbus TCP MBAP 或串行线路 CRC 的 PDU 示例;抓包时需要先依据所用传输方式定位 PDU,再读取功能码与异常码。
判读线索
优先看两个字节:第 1 字节最高位是否置 1,第 2 字节是否落在目标设备文档定义的异常码范围内。若最高位未置 1,应按正常响应继续解析,不要直接把普通数据字段解释成异常码。
来源与适用范围
本文按 Modbus Application Protocol Specification V1.1b3 的应用层异常响应格式整理,适用于需要直接检查 Modbus PDU 的场景。串口 RTU、ASCII 与 Modbus TCP 的外层封装不同,但异常响应中的功能码与异常码规则属于应用层 PDU。
安全传输
对照 Content Type、Legacy Record Version、Length 和加密片段的记录层结构,适合从 TCP 字节流切分 TLS Record 并核对记录长度。
TLS Record
从 TCP 字节流定位 TLS Record 时,先读取固定 5 字节头部,再按 Length 取得后续记录内容;这样可以判断当前字节流是否完整,并避免把多个 Record 粘在一起误解析。
字段与含义
| 偏移 | 字段 | 长度 | 判读要点 |
|---|---|---|---|
0 |
Content Type | 1 字节 | TLS 1.2 常见 20/21/22/23 分别对应 Change Cipher Spec、Alert、Handshake、Application Data |
1-2 |
Legacy Record Version | 2 字节 | TLS 1.3 的记录层字段已弃用;TLS 1.3 加密记录外层通常为 0x0303 |
3-4 |
Length | 2 字节 | 后续 fragment 或 encrypted_record 的字节数 |
5... |
Fragment / Encrypted Record | Length 字节 |
TLS 1.3 握手完成后的记录通常是加密内容,不能仅凭外层字节直接判断内部消息类型 |
RFC 8446 定义了 TLS 1.3 的 TLSPlaintext 五字节记录头和 TLSCiphertext 记录结构。TLS 1.3 加密记录的外层 Content Type 固定为 application_data (23),实际内部内容类型位于解密后的 TLSInnerPlaintext 中。
出现条件
需要从 TCP 抓包或原始字节流切分 TLS 数据时,记录头是最直接的边界信息。读取前 5 字节后,把两个长度字节按网络字节序组合即可得到当前 Record 的载荷长度。
若当前缓冲区不足 5 + Length 字节,不能继续解析下一条 Record;应等待后续 TCP 数据到达。TCP 分段、粘包都不会改变 TLS Record 自身的长度字段。
快速确认
record = bytes.fromhex("17 03 03 00 05 48 65 6C 6C 6F")
content_type = record[0]
legacy_version = record[1:3].hex().upper()
length = int.from_bytes(record[3:5], "big")
payload = record[5:5 + length]
print(f"content_type=0x{content_type:02X}")
print(f"legacy_version=0x{legacy_version}")
print(f"length={length}")
print(f"payload_hex={payload.hex().upper()}")
print(f"record_bytes={len(record)}")预期输出
content_type=0x17
legacy_version=0x0303
length=5
payload_hex=48656C6C6F
record_bytes=10这个示例只验证 Record 的分帧规则,示例载荷是明文 Hello,用于说明长度计算,不代表实际 TLS 1.3 应用数据会以明文出现。
判读线索
可先检查 record_bytes == 5 + length。若不成立,当前 TCP 缓冲区不是完整 Record,或抓取范围包含了错误的偏移。TLS 1.3 场景下不要把外层 23 直接等同于内部应用数据类型;解密后才能读取 TLSInnerPlaintext.type。
来源与适用范围
本文按 RFC 8446 的 TLS 1.3 Record Layer 结构整理;分析 TLS 1.2 或更早版本时,字段语义与加密方式存在差异,应结合对应版本规范解码。
查询 Handshake Type、三字节长度和消息主体的通用结构,适合在解密或握手分析场景中切分 ClientHello、ServerHello 等握手消息。
TLS 1.3 Handshake 消息
分析 TLS 1.3 握手报文时,先按 Handshake 消息头切分消息边界,再根据 Type 判断主体格式;注意一个 TLS Record 中可以承载多个 Handshake 消息,一个 Handshake 消息也可能跨多个 Record。
消息头结构
TLS 1.3 的 Handshake 消息固定先出现 4 字节消息头:1 字节类型加 3 字节长度,随后是对应长度的消息主体。
| 字段 | 长度 | 含义 | 判读动作 |
|---|---|---|---|
msg_type |
1 字节 | Handshake Type | 用类型值确定是 client_hello、server_hello 等 |
length |
3 字节 | 主体长度 | 按网络字节序读取后切出主体 |
body |
length 字节 |
当前消息内容 | 按具体消息定义解析 |
常见类型包括 client_hello、server_hello、encrypted_extensions、certificate、certificate_verify 和 finished。类型值属于 TLS 规范定义的 HandshakeType;具体抓包工具可能同时显示名称与数值。
快速确认
分析已抓取的 TLS 流量时,可先用 Wireshark 的 tls.handshake 过滤器定位 Handshake 消息,再展开具体消息查看 Type、Length 与字段层级。
tshark -r <PATH> -Y 'tls.handshake' -T fields -e frame.number -e tls.handshake.type -e tls.handshake.length预期结果
输出会按抓包中的握手消息列出帧号、Handshake Type 和长度;具体编号、帧数及长度取决于输入抓包文件。出现条件
在握手解析、TLS 解密后的协议分析或 Wireshark/TShark 字段检查中,常需要先区分 Handshake 消息与外层 TLS Record。不能把 Record 边界直接当作 Handshake 消息边界。
来源与适用范围
这里描述的是 TLS 1.3 Handshake 消息的通用编码结构,具体消息主体必须继续按 RFC 8446 对应的消息定义解析;抓包工具的字段名称和展示方式可能因版本而异。
对照 legacy_version、random、会话 ID、密码套件、压缩方法和扩展列表,适合检查客户端 TLS 能力声明以及 SNI、ALPN 等扩展。
TLS ClientHello
检查 TLS 1.3 ClientHello 时,重点确认基础字段是否完整,再查看 extensions 判断客户端声明的版本、SNI、ALPN 等能力。TLS 1.3 中 legacy_version 仍通常编码为 0x0303,实际版本协商由 supported_versions 扩展表达。
字段速查
| 字段 | 长度 | 含义 | 判读线索 |
|---|---|---|---|
legacy_version |
2 字节 | ClientHello 的兼容版本字段 | TLS 1.3 ClientHello 通常看到 0x0303,不要据此直接判定最终版本 |
random |
32 字节 | 客户端随机值 | 用于握手密码学输入,不作为版本或能力列表 |
legacy_session_id |
1 + 0~32 字节 | 旧会话 ID 字段 | 查看长度是否与后续字段边界一致 |
cipher_suites |
2 + 可变长度 | 客户端支持的密码套件列表 | TLS 1.3 套件可见于列表;具体选择结果看 ServerHello |
legacy_compression_methods |
1 + 可变长度 | 兼容字段 | TLS 1.3 使用空压缩方法,即列表中应包含 0 |
extensions |
2 + 可变长度 | 扩展总长度及扩展列表 | 优先检查 supported_versions、SNI、ALPN 等实际扩展 |
其中,SNI 通常位于 server_name 扩展,ALPN 位于 application_layer_protocol_negotiation 扩展;是否出现这些扩展取决于具体客户端、目标服务和连接方式。
快速确认
用 OpenSSL 强制发起 TLS 1.3 ClientHello,可以确认握手是否使用 TLS 1.3,并结合抓包检查实际 ClientHello 字段。
openssl s_client -connect example.com:443 -tls1_3 -servername example.com -brief </dev/null预期结果
终端应显示一次成功的 TLS 连接摘要,并包含 TLS 1.3 协议版本;实际证书、密码套件和校验结果取决于 example.com 当时的服务端配置。判读重点
看到 legacy_version=0x0303 时,不要把它理解成“客户端只支持 TLS 1.2”。判断 TLS 1.3 能力应继续检查 supported_versions 扩展中是否包含 0x0304。同样,ClientHello 中列出的密码套件只是客户端提供的候选集合,最终采用哪一个要结合 ServerHello 判读。
常见误用
抓包时把所有版本、密码套件或应用协议能力都归因于固定字段,会漏掉 TLS 1.3 的扩展机制。尤其在排查 SNI 或 HTTP/2 协商时,应直接检查对应扩展是否存在、内容是否符合当前连接,而不是只看 ClientHello 的固定头字段。
TLS 1.3 ClientHello 的字段布局和扩展定义以 RFC 8446 为准;不同 TLS 实现和抓包工具可能增加实现相关显示字段,但不能据此推断为 TLS 标准字段。
查询服务器随机数、所选密码套件和扩展等字段
TLS ServerHello
查看 TLS 1.3 的 ServerHello 时,重点确认服务器最终选择的协议版本、密码套件和密钥交换参数。抓包中查到这些字段后,可以判断一次握手究竟协商成了什么,以及是否出现 HelloRetryRequest 相关的密钥组重新选择。
字段怎么对应
| 字段 | 含义 | 判读重点 |
|---|---|---|
legacy_version |
兼容旧版本格式的版本字段 | TLS 1.3 的 ServerHello 中通常为 0x0303,不能据此判断最终使用 TLS 1.3 |
random |
服务端随机值 | 固定为 32 字节,可用于确认 ServerHello 主体位置,但不直接表示协商版本 |
legacy_session_id_echo |
回显客户端会话 ID | 用于兼容旧版握手格式,TLS 1.3 中仍保留该字段 |
cipher_suite |
最终选择的密码套件 | 直接查看服务器接受的 TLS 1.3 密码套件,例如 TLS_AES_128_GCM_SHA256 |
legacy_compression_method |
兼容格式中的压缩字段 | TLS 1.3 中应为 0 |
extensions |
ServerHello 扩展集合 | 重点检查 supported_versions、key_share,使用预共享密钥时还要关注 pre_shared_key |
怎么判读版本和密钥交换
TLS 1.3 不应通过 legacy_version 单独判定。真正的协商版本位于 supported_versions 扩展中,服务器选择 TLS 1.3 时其值为 0x0304。
key_share 表示服务器选择的密钥交换组及对应的密钥交换数据。若它与客户端提供的候选组不匹配,握手流程可能先出现 HelloRetryRequest,再由后续 ClientHello 提供新的 key_share。
快速确认
抓包查看 ServerHello 的字段层级时,优先同时核对以下关系:
| 看到的线索 | 说明 | 下一步 |
|---|---|---|
legacy_version=0x0303 且 supported_versions=0x0304 |
符合 TLS 1.3 ServerHello 的版本编码方式 | 继续确认 cipher_suite 与 key_share |
cipher_suite 已明确 |
服务器已选定密码套件 | 与 ClientHello 的 cipher_suites 对照 |
key_share 存在 |
ServerHello 携带所选密钥交换组及密钥数据 | 与此前 ClientHello 的 key_share 对照 |
| 先看到 HelloRetryRequest,再出现新的 ClientHello 和 ServerHello | 服务器要求重新提供可接受的密钥交换组 | 检查第二个 ClientHello 的 key_share |
来源与适用范围
上述字段关系针对 TLS 1.3 ServerHello。其中 legacy_version 的兼容编码、supported_versions 的实际版本选择以及 key_share 的用途属于 TLS 1.3 握手格式;具体抓包工具的字段名称可能略有不同。判读时以 TLS 1.3 协议规范和实际抓包层级为准。