C / C++ / 系统课时

限制连接数并保护过载节点

限制连接数并保护过载节点

本节解决一个直接问题:当连接、待发送数据或并发请求持续增长时,节点不能继续无条件接收工作。我们会给接入、发送和请求执行三条路径分别加上硬上限,并在资源接近边界时快速拒绝,让进程保持可响应、可恢复,而不是在内存和调度压力下整体失速。

学习目标

  • 为连接数、待发送字节数和并发请求数设置独立上限
  • 理解“快速拒绝”为什么比排队到资源耗尽更安全
  • 用统一的过载保护器验证接入、发送和请求路径

三个上限分别保护什么

连接上限保护文件描述符、连接对象和事件循环扫描成本;待发送数据上限保护内存,避免慢客户端让发送缓冲持续堆积;并发请求上限保护工作线程、下游连接池和 CPU。三者不能互相替代,因为同一个节点可能连接不多却积压大量响应,也可能连接正常但短时间涌入大量耗时请求。

过载保护的三道闸门

上限应当按节点容量制定,而不是按业务峰值拍脑袋设置。通常先从压测中找到延迟明显恶化前的安全区,再留出余量。保护目标不是让所有请求都成功,而是确保过载时仍有一部分请求可以快速得到明确结果,节点也能在流量下降后迅速恢复。

用一个保护器统一三个入口

下面的示例把三个资源都做成可计数的令牌。接入连接、追加待发送数据和开始请求时先申请资源,完成后必须归还。真实 Reactor 中,这些调用通常分别位于 accept、写缓冲追加以及请求投递线程池之前。

cpp
#include <cstddef>
#include <iostream>

class OverloadGuard {
public:
    OverloadGuard(std::size_t maxConnections,
                  std::size_t maxPendingBytes,
                  std::size_t maxInflight)
        : maxConnections_(maxConnections),
          maxPendingBytes_(maxPendingBytes),
          maxInflight_(maxInflight) {}

    bool tryOpenConnection() {
        if (connections_ >= maxConnections_) return false;
        ++connections_;
        return true;
    }

    void closeConnection() {
        if (connections_ > 0) --connections_;
    }

    bool tryReserveSend(std::size_t bytes) {
        if (bytes > maxPendingBytes_ - pendingBytes_) return false;
        pendingBytes_ += bytes;
        return true;
    }

    void releaseSend(std::size_t bytes) {
        pendingBytes_ = bytes >= pendingBytes_ ? 0 : pendingBytes_ - bytes;
    }

    bool tryBeginRequest() {
        if (inflight_ >= maxInflight_) return false;
        ++inflight_;
        return true;
    }

    void endRequest() {
        if (inflight_ > 0) --inflight_;
    }

private:
    std::size_t maxConnections_;
    std::size_t maxPendingBytes_;
    std::size_t maxInflight_;
    std::size_t connections_{0};
    std::size_t pendingBytes_{0};
    std::size_t inflight_{0};
};

int main() {
    OverloadGuard guard(2, 1024, 1);

    std::cout << std::boolalpha;
    std::cout << "conn1=" << guard.tryOpenConnection() << '\n';
    std::cout << "conn2=" << guard.tryOpenConnection() << '\n';
    std::cout << "conn3=" << guard.tryOpenConnection() << '\n';

    std::cout << "send800=" << guard.tryReserveSend(800) << '\n';
    std::cout << "send300=" << guard.tryReserveSend(300) << '\n';

    std::cout << "req1=" << guard.tryBeginRequest() << '\n';
    std::cout << "req2=" << guard.tryBeginRequest() << '\n';
}

预期输出:

text
conn1=true
conn2=true
conn3=false
send800=true
send300=false
req1=true
req2=false

真实工程里不要只做一个“总内存上限”。例如某个连接允许占用过大的发送缓存,即使全局内存尚未超限,也可能造成单连接长期占用资源。因此发送路径通常同时需要单连接上限和节点总上限,先限制局部异常,再限制整体容量。

超限后要立刻做出确定动作

不同入口的拒绝策略应当不同。新连接超限时,可以直接关闭刚接受的 socket,或在协议允许时返回明确的忙碌响应;待发送数据超限时,说明对端消费过慢,应停止继续生产响应,并按协议选择关闭连接或丢弃低优先级消息;并发请求超限时,应在进入昂贵业务逻辑前拒绝。

如果协议支持 RPC 错误码,可以把过载统一映射为 RESOURCE_EXHAUSTED、SERVER_BUSY 一类可重试错误,同时配合客户端指数退避和抖动。对于普通 TCP 私有协议,也应定义明确的忙碌语义,避免客户端立即无间隔重连。

把保护效果纳入验收

保护是否有效不能只看“没有崩溃”。压测时应同时观察活跃连接数、待发送字节、并发请求数、拒绝次数、事件循环延迟和进程内存。理想现象是三类资源在阈值附近被截住,拒绝量随压力上升,但已接收请求的延迟不会无限恶化。

至少验证两个边界:达到上限时新的工作会被稳定拒绝;释放资源后新的连接或请求能够再次进入。只要这两个条件成立,过载保护才真正形成闭环。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

限制连接数并保护过载节点

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通