计算机网络 / 系统课时
高水位如何触发背压
高水位如何触发背压
当下游发送速度低于上游生产速度时,输出队列会持续增长。高水位的作用不是“把队列做大”,而是在积压达到阈值时主动减慢输入:暂停 EPOLLIN、停止读取新请求,或限制业务继续生产,等队列回落到低水位后再恢复。
学习目标
- 用输出缓冲区大小判断连接是否已经进入过载状态。
- 通过高水位与低水位形成回滞,避免读取开关在阈值附近频繁抖动。
- 把背压落实到
epoll兴趣集合和业务生产入口,而不是仅记录一个告警指标。
背压解决的是速度不匹配
一个连接的处理链路通常包含“读取请求 → 业务处理 → 生成响应 → 写入网络”。如果前半段持续产出,而最后的 socket 因对端变慢、链路拥塞或内核发送缓冲区不足而写不出去,未发送响应只能堆在用户态输出队列里。没有背压时,单个慢连接就可能持续占用内存。
背压的关键是让“输出积压”反向影响“输入速度”。最直接的连接级策略是设置两个阈值:队列达到高水位时暂停读取,回落到低水位时再恢复。高低水位不能设成同一个值,否则队列在阈值附近稍微增加或减少,就会不断切换 EPOLLIN。

这形成一个简单的回滞状态机:
| 当前状态 | 条件 | 动作 |
|---|---|---|
| 允许读取 | queued >= high |
暂停读取,移除 EPOLLIN |
| 暂停读取 | queued <= low |
恢复读取,重新加入 EPOLLIN |
| 其他情况 | 位于两阈值之间 | 保持当前状态,不切换 |
用 epoll 切换读取兴趣
下面的完整示例用 socketpair 创建一个连接,并用 epoll_ctl 真正修改兴趣集合。输出队列达到 64 KiB 时移除 EPOLLIN;排空到 32 KiB 时重新加入 EPOLLIN。这里用计数器代表连接的输出缓冲区字节数,真实服务器里应由入队和出队逻辑维护它。
#include <stdio.h>
#include <stdlib.h>
#include <sys/epoll.h>
#include <sys/socket.h>
#include <unistd.h>
enum {
HIGH_WATER = 64 * 1024,
LOW_WATER = 32 * 1024
};
struct connection {
int fd;
size_t queued;
int read_enabled;
};
static void die(const char *msg) {
perror(msg);
exit(EXIT_FAILURE);
}
static void update_interest(int epfd, const struct connection *c) {
struct epoll_event ev = {0};
ev.data.fd = c->fd;
ev.events = EPOLLRDHUP;
if (c->read_enabled) {
ev.events |= EPOLLIN;
}
if (c->queued > 0) {
ev.events |= EPOLLOUT;
}
if (epoll_ctl(epfd, EPOLL_CTL_MOD, c->fd, &ev) == -1) {
die("epoll_ctl MOD");
}
}
static void apply_backpressure(int epfd, struct connection *c) {
if (c->read_enabled && c->queued >= HIGH_WATER) {
c->read_enabled = 0;
update_interest(epfd, c);
printf("pause read: queued=%zu\n", c->queued);
return;
}
if (!c->read_enabled && c->queued <= LOW_WATER) {
c->read_enabled = 1;
update_interest(epfd, c);
printf("resume read: queued=%zu\n", c->queued);
}
}
int main(void) {
int sv[2];
if (socketpair(AF_UNIX, SOCK_STREAM, 0, sv) == -1) {
die("socketpair");
}
int epfd = epoll_create1(0);
if (epfd == -1) {
die("epoll_create1");
}
struct connection c = {
.fd = sv[0],
.queued = 0,
.read_enabled = 1
};
struct epoll_event ev = {0};
ev.data.fd = c.fd;
ev.events = EPOLLIN | EPOLLRDHUP;
if (epoll_ctl(epfd, EPOLL_CTL_ADD, c.fd, &ev) == -1) {
die("epoll_ctl ADD");
}
/* 模拟业务快速产生响应,输出队列达到高水位。 */
c.queued = HIGH_WATER;
apply_backpressure(epfd, &c);
/* 模拟网络继续发送,把积压排到低水位。 */
c.queued = LOW_WATER;
apply_backpressure(epfd, &c);
close(epfd);
close(sv[0]);
close(sv[1]);
return 0;
}运行方式:
gcc -O2 -Wall -Wextra backpressure.c -o backpressure && ./backpressure预期输出:
pause read: queued=65536
resume read: queued=32768暂停读取不等于停止一切工作
移除 EPOLLIN 只是不再主动读取这个连接的新数据,已有输出仍要依靠 EPOLLOUT 继续排空。因此高水位状态下通常保留可写监听;否则队列没有机会下降,就永远触发不了恢复条件。
对于请求与响应严格配对的协议,暂停读取往往已经足够。若业务内部还有独立生产者,例如流式推送、订阅广播或异步任务,即使不再读取客户端请求,它们仍可能继续向该连接追加数据。这时还需要把背压信号传给业务层,例如拒绝新的推送任务、降低生产频率,或者对单连接设置硬上限。
阈值怎么选才有意义
阈值应结合平均响应大小、允许的突发量、单机最大连接数和内存预算,而不是照搬固定数值。假设每个连接最多允许保留 256 KiB,而服务可能同时有 20,000 个活跃连接,理论上仅连接级输出缓冲区就可能占用约 5 GiB;如果进程没有这样的内存预算,阈值必须更低,或者需要限制高积压连接的数量。
低水位通常显著低于高水位,例如高水位 256 KiB、低水位 128 KiB,让恢复读取前先真正排掉一段积压。监控时至少记录当前输出队列字节数、触发暂停的连接数、暂停持续时间和硬上限关闭次数,这些指标能区分偶发突发与持续下游变慢。
避免把背压做成全局停机
连接级背压优先只限制造成积压的那个连接。若一个慢客户端导致整个事件循环停止读取其他连接,会把局部问题放大成全局吞吐下降。只有共享资源确实达到全局瓶颈,例如工作队列、数据库连接池或进程内存接近上限时,才需要进一步做服务级限流。
可靠的判断标准是:高水位负责尽早减速,低水位负责稳定恢复,硬上限负责最后兜底。 三者共同作用,才能把短时突发吸收在缓冲区里,又阻止长期速度不匹配演变成无界内存增长。