操作系统 / 系统课时

调整收发缓冲与流量窗口

调整收发缓冲与流量窗口

把 SO_SNDBUF、SO_RCVBUF 调大,可能减少短时突发造成的阻塞,也可能只是把数据积压得更深。本节通过一个慢消费者实验区分本地 socket 缓冲、对端接收窗口与拥塞窗口,并建立“先测量,再调参”的判断顺序。

学习目标

  • 区分 SO_SNDBUF、SO_RCVBUF、接收窗口 rwnd 与拥塞窗口 cwnd。
  • 用慢消费者实验观察发送端出现 EAGAIN 的过程。
  • 判断何时应该增大缓冲,何时应该修复消费能力或背压。

缓冲区和流量窗口不是同一件事

SO_SNDBUF 是本机为 socket 发送数据准备的内存预算,应用写得比内核和网络发送得快时,数据会先排在这里。SO_RCVBUF 是接收侧内核暂存尚未被应用读取的数据空间。它们都属于端系统资源,不等同于 TCP 在网络上的“允许飞行字节数”。

TCP 接收方会通过 rwnd 告诉对端自己还能接收多少数据;发送方同时还受拥塞控制的 cwnd 约束。粗略看,未确认数据的上限受到 min(rwnd, cwnd) 限制,但实际发送还会受 MSS、已在途数据、内核调度和队列状态影响。

Socket 缓冲、rwnd 与 cwnd 的关系

因此,“发送缓冲很大”不能突破对端的 rwnd,更不能绕过 cwnd。在高带宽高 RTT 链路上,过小缓冲可能限制吞吐;在慢消费者场景里,盲目加大缓冲则可能增加排队内存和尾延迟。

用慢消费者观察发送阻塞

下面的程序先把服务端接收缓冲设小,并故意暂停读取;客户端把发送缓冲设小后切到非阻塞模式,持续写入直到内核返回 EAGAIN。它演示的是背压出现的方向,不要求每台机器得到相同字节数。

python
import socket
import threading
import time

HOST = "127.0.0.1"
PORT = 19091
REQUESTED_BUF = 16 * 1024

def run_server(ready):
    with socket.socket(socket.AF_INET, socket.SOCK_STREAM) as server:
        # 在 listen 前设置,确保监听 socket 的接收缓冲策略传给已接受连接。
        server.setsockopt(socket.SOL_SOCKET, socket.SO_RCVBUF, REQUESTED_BUF)
        server.bind((HOST, PORT))
        server.listen(1)
        print("server SO_RCVBUF=", server.getsockopt(
            socket.SOL_SOCKET, socket.SO_RCVBUF))
        ready.set()

        conn, _ = server.accept()
        with conn:
            # 模拟应用层慢消费者,让接收队列先积压。
            time.sleep(2)
            total = 0
            while True:
                chunk = conn.recv(65536)
                if not chunk:
                    break
                total += len(chunk)
            print("server drained=", total)

def main():
    ready = threading.Event()
    thread = threading.Thread(target=run_server, args=(ready,))
    thread.start()
    ready.wait()

    with socket.socket(socket.AF_INET, socket.SOCK_STREAM) as client:
        client.setsockopt(socket.SOL_SOCKET, socket.SO_SNDBUF, REQUESTED_BUF)
        client.connect((HOST, PORT))
        actual = client.getsockopt(socket.SOL_SOCKET, socket.SO_SNDBUF)
        client.setblocking(False)

        payload = b"x" * 4096
        total = 0
        while True:
            try:
                sent = client.send(payload)
                if sent == 0:
                    break
                total += sent
            except BlockingIOError:
                break

        print("client SO_SNDBUF=", actual)
        print("client queued_before_eagain=", total)

    thread.join()

if __name__ == "__main__":
    main()

预期输出应呈现“缓冲有上限,慢消费者最终让发送端停止继续排队”的模式。Linux 通常会为 socket 记账而返回大于请求值的实际缓冲,具体数值受内核限制和版本影响,因此以下使用动态占位符。

text
server SO_RCVBUF= <BYTES>
client SO_SNDBUF= <BYTES>
client queued_before_eagain= <BYTES>
server drained= <BYTES>

queued_before_eagain 不等于 SO_SNDBUF:在客户端阻塞前,一部分数据可能已经被对端确认并移出本地发送队列,一部分仍在内核中,接收端也有自己的缓冲。因此不要用这个实验反推一个固定公式。

检查系统上限和实时队列

用户态设置还会受到系统级上下限与 TCP 自动调优影响。先查看当前内核参数,再决定是否需要改动。

bash
sysctl net.core.wmem_max net.core.rmem_max net.ipv4.tcp_wmem net.ipv4.tcp_rmem net.ipv4.tcp_moderate_rcvbuf

预期输出形态如下,数值因发行版和主机配置而异。

text
net.core.wmem_max = <BYTES>
net.core.rmem_max = <BYTES>
net.ipv4.tcp_wmem = <MIN> <DEFAULT> <MAX>
net.ipv4.tcp_rmem = <MIN> <DEFAULT> <MAX>
net.ipv4.tcp_moderate_rcvbuf = <0_OR_1>

调试正在运行的连接时,可以用 ss -tinm 查看 Send-Q、socket memory、RTT、拥塞控制和窗口相关信息。若 Send-Q 长时间增长,同时对端应用读取慢或 rwnd 收缩,问题通常不是“发送缓冲太小”,而是下游消费不足。

调参应该解决什么问题

需要提高缓冲时,先确认链路的带宽时延积较大,且应用和对端都能持续消费;这类场景中,过小缓冲可能让连接无法保有足够在途数据。调整后应同时比较吞吐、RTT、内存占用和尾延迟,而不是只看单一带宽数字。

若现象是消费者处理变慢、Send-Q 持续堆积、写调用阻塞或非阻塞 socket 频繁 EAGAIN,继续放大 SO_SNDBUF 只是延后暴露问题。更合理的修复是限制生产速率、建立应用级队列上限、传播背压,或提升消费者处理能力。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

调整收发缓冲与流量窗口

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通