计算机网络 / 系统课时

高水位如何触发背压

高水位如何触发背压

当下游发送速度低于上游生产速度时,输出队列会持续增长。高水位的作用不是“把队列做大”,而是在积压达到阈值时主动减慢输入:暂停 EPOLLIN、停止读取新请求,或限制业务继续生产,等队列回落到低水位后再恢复。

学习目标

  • 用输出缓冲区大小判断连接是否已经进入过载状态。
  • 通过高水位与低水位形成回滞,避免读取开关在阈值附近频繁抖动。
  • 把背压落实到 epoll 兴趣集合和业务生产入口,而不是仅记录一个告警指标。

背压解决的是速度不匹配

一个连接的处理链路通常包含“读取请求 → 业务处理 → 生成响应 → 写入网络”。如果前半段持续产出,而最后的 socket 因对端变慢、链路拥塞或内核发送缓冲区不足而写不出去,未发送响应只能堆在用户态输出队列里。没有背压时,单个慢连接就可能持续占用内存。

背压的关键是让“输出积压”反向影响“输入速度”。最直接的连接级策略是设置两个阈值:队列达到高水位时暂停读取,回落到低水位时再恢复。高低水位不能设成同一个值,否则队列在阈值附近稍微增加或减少,就会不断切换 EPOLLIN。

高低水位背压状态与数据流

这形成一个简单的回滞状态机:

当前状态 条件 动作
允许读取 queued >= high 暂停读取,移除 EPOLLIN
暂停读取 queued <= low 恢复读取,重新加入 EPOLLIN
其他情况 位于两阈值之间 保持当前状态,不切换

用 epoll 切换读取兴趣

下面的完整示例用 socketpair 创建一个连接,并用 epoll_ctl 真正修改兴趣集合。输出队列达到 64 KiB 时移除 EPOLLIN;排空到 32 KiB 时重新加入 EPOLLIN。这里用计数器代表连接的输出缓冲区字节数,真实服务器里应由入队和出队逻辑维护它。

c
#include <stdio.h>
#include <stdlib.h>
#include <sys/epoll.h>
#include <sys/socket.h>
#include <unistd.h>

enum {
    HIGH_WATER = 64 * 1024,
    LOW_WATER = 32 * 1024
};

struct connection {
    int fd;
    size_t queued;
    int read_enabled;
};

static void die(const char *msg) {
    perror(msg);
    exit(EXIT_FAILURE);
}

static void update_interest(int epfd, const struct connection *c) {
    struct epoll_event ev = {0};
    ev.data.fd = c->fd;
    ev.events = EPOLLRDHUP;

    if (c->read_enabled) {
        ev.events |= EPOLLIN;
    }
    if (c->queued > 0) {
        ev.events |= EPOLLOUT;
    }

    if (epoll_ctl(epfd, EPOLL_CTL_MOD, c->fd, &ev) == -1) {
        die("epoll_ctl MOD");
    }
}

static void apply_backpressure(int epfd, struct connection *c) {
    if (c->read_enabled && c->queued >= HIGH_WATER) {
        c->read_enabled = 0;
        update_interest(epfd, c);
        printf("pause read: queued=%zu\n", c->queued);
        return;
    }

    if (!c->read_enabled && c->queued <= LOW_WATER) {
        c->read_enabled = 1;
        update_interest(epfd, c);
        printf("resume read: queued=%zu\n", c->queued);
    }
}

int main(void) {
    int sv[2];
    if (socketpair(AF_UNIX, SOCK_STREAM, 0, sv) == -1) {
        die("socketpair");
    }

    int epfd = epoll_create1(0);
    if (epfd == -1) {
        die("epoll_create1");
    }

    struct connection c = {
        .fd = sv[0],
        .queued = 0,
        .read_enabled = 1
    };

    struct epoll_event ev = {0};
    ev.data.fd = c.fd;
    ev.events = EPOLLIN | EPOLLRDHUP;
    if (epoll_ctl(epfd, EPOLL_CTL_ADD, c.fd, &ev) == -1) {
        die("epoll_ctl ADD");
    }

    /* 模拟业务快速产生响应,输出队列达到高水位。 */
    c.queued = HIGH_WATER;
    apply_backpressure(epfd, &c);

    /* 模拟网络继续发送,把积压排到低水位。 */
    c.queued = LOW_WATER;
    apply_backpressure(epfd, &c);

    close(epfd);
    close(sv[0]);
    close(sv[1]);
    return 0;
}

运行方式:

bash
gcc -O2 -Wall -Wextra backpressure.c -o backpressure && ./backpressure

预期输出:

text
pause read: queued=65536
resume read: queued=32768

暂停读取不等于停止一切工作

移除 EPOLLIN 只是不再主动读取这个连接的新数据,已有输出仍要依靠 EPOLLOUT 继续排空。因此高水位状态下通常保留可写监听;否则队列没有机会下降,就永远触发不了恢复条件。

对于请求与响应严格配对的协议,暂停读取往往已经足够。若业务内部还有独立生产者,例如流式推送、订阅广播或异步任务,即使不再读取客户端请求,它们仍可能继续向该连接追加数据。这时还需要把背压信号传给业务层,例如拒绝新的推送任务、降低生产频率,或者对单连接设置硬上限。

阈值怎么选才有意义

阈值应结合平均响应大小、允许的突发量、单机最大连接数和内存预算,而不是照搬固定数值。假设每个连接最多允许保留 256 KiB,而服务可能同时有 20,000 个活跃连接,理论上仅连接级输出缓冲区就可能占用约 5 GiB;如果进程没有这样的内存预算,阈值必须更低,或者需要限制高积压连接的数量。

低水位通常显著低于高水位,例如高水位 256 KiB、低水位 128 KiB,让恢复读取前先真正排掉一段积压。监控时至少记录当前输出队列字节数、触发暂停的连接数、暂停持续时间和硬上限关闭次数,这些指标能区分偶发突发与持续下游变慢。

避免把背压做成全局停机

连接级背压优先只限制造成积压的那个连接。若一个慢客户端导致整个事件循环停止读取其他连接,会把局部问题放大成全局吞吐下降。只有共享资源确实达到全局瓶颈,例如工作队列、数据库连接池或进程内存接近上限时,才需要进一步做服务级限流。

可靠的判断标准是:高水位负责尽早减速,低水位负责稳定恢复,硬上限负责最后兜底。 三者共同作用,才能把短时突发吸收在缓冲区里,又阻止长期速度不匹配演变成无界内存增长。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

高水位如何触发背压

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通