操作系统 / 系统课时

处理 UDP 丢包与报文截断

处理 UDP 丢包与报文截断

UDP 报文“没到应用”可能发生在网络、内核接收队列或应用缓冲区三个位置。本篇用可复现实验区分真正丢包与报文截断,并给出 Linux 观测方法,最后明确可靠传输中必须由应用协议补上的机制。

学习目标

  • 区分网络丢包、接收队列溢出与应用缓冲区截断。
  • 使用 recvmsg() 和 Linux UDP 计数器定位接收异常。
  • 判断序号、重传、去重与乱序处理何时必须由应用协议实现。

先分清“没收到”和“收到不完整”

UDP 保留报文边界:一次发送对应一个数据报,接收调用一次最多取走一个数据报。它不保证送达、顺序或不重复,因此“缺一条消息”不能直接归因于同一个环节。

现象 发生位置 应用看到的结果 关键证据
网络丢包或乱序 主机之间的网络路径 序号缺失、到达顺序变化 应用序号、抓包或两端联合观测
接收队列溢出 Linux 内核 UDP 接收队列 数据报在进入应用前被丢弃 UdpRcvbufErrors 增长
报文截断 应用接收缓冲区小于数据报 本次只得到前半段,剩余部分被丢弃 recvmsg() 返回 MSG_TRUNC

UDP 报文从发送端到应用缓冲区的丢包与截断位置

用实验观察报文截断

下面的程序在回环地址上发送 32 字节 UDP 数据报,但接收端只提供 8 字节缓冲区。Linux 的 recvmsg() 会返回前 8 字节,并在消息标志中设置 MSG_TRUNC;被截掉的 24 字节不会在下一次 recvmsg() 中继续出现。

python
import socket

HOST = "127.0.0.1"
payload = b"ABCDEFGHIJKLMNOPQRSTUVWXYZ012345"

server = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
server.bind((HOST, 0))
client = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)

# 故意发送比接收缓冲区更大的单个数据报。
client.sendto(payload, server.getsockname())
data, ancdata, flags, peer = server.recvmsg(8)

print(f"sent={len(payload)} received={len(data)}")
print(f"data={data!r}")
print(f"MSG_TRUNC={bool(flags & socket.MSG_TRUNC)}")

server.close()
client.close()

预期输出

text
sent=32 received=8
data=b'ABCDEFGH'
MSG_TRUNC=True

如果协议允许最大报文为 1200 字节,接收缓冲区就至少应覆盖这个上限。不要把“先用小缓冲区读长度、下一次再读剩余部分”当作 UDP 的可行方案;第二次接收面对的是下一个数据报。

识别接收队列溢出

应用即使提供了足够大的单次接收缓冲区,也可能因为读取不及时而让内核接收队列堆满。SO_RCVBUF 控制可用于接收排队的缓冲空间;突发流量超过队列承载能力时,数据报可能在应用调用 recvfrom() 或 recvmsg() 前就被丢弃。

在压测前后执行下面的命令,对比 UDP 错误计数:

bash
nstat -az | grep -E 'Udp(InErrors|RcvbufErrors)'

预期输出

text
UdpInErrors                  <COUNT>                 0.0
UdpRcvbufErrors              <COUNT>                 0.0

实际计数会随主机状态变化。若压测期间 UdpRcvbufErrors 持续增长,应优先检查应用是否及时读取、单个 socket 是否承受过高突发量,以及 SO_RCVBUF 是否过小。增大缓冲区只能提高抗突发能力,不能把 UDP 变成可靠传输。

把可靠性放到应用协议里

如果业务不能容忍丢失或乱序,发送端应给每个逻辑消息加入递增序号,接收端据此发现缺口、去重并在需要时重排。需要重传时,还要定义确认、超时和重试上限;仅凭 sendto() 成功不能证明远端应用已经收到数据报。

对实时音视频、指标采样等“过期数据价值低”的场景,允许丢包往往比重传更合适;对必须可靠交付的数据,则应设计完整的应用层可靠机制,或直接选择已经提供这些能力的传输协议。定位 UDP 问题时,先判断数据报是在网络、内核队列还是应用缓冲区消失,修复方向才不会跑偏。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

处理 UDP 丢包与报文截断

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通