操作系统 / 系统课时

队列满了以后发送会怎样

队列满了以后发送会怎样

消息队列有明确的容量上限。生产者快于消费者时,队列最终会被填满,此时发送操作可能等待空位、立即失败,或者只等待到指定期限。理解这三种行为,才能为后台任务、请求缓冲和实时链路选择正确的背压策略。

学习目标

  • 验证 POSIX 消息队列满时阻塞发送与非阻塞发送的差异
  • 使用 mq_timedsend 为发送操作设置截止时间
  • 根据业务能否等待、丢弃或重试选择合适的满队列处理方式

容量满意味着没有可写槽位

POSIX 消息队列创建时可以通过 mq_attr 指定 mq_maxmsg 和 mq_msgsize。前者限制队列最多同时保存多少条消息,后者限制单条消息大小。只要已有消息数量达到 mq_maxmsg,新的发送就必须先处理“没有空位”这一事实。

阻塞描述符上的 mq_send 会等待,直到消费者取走消息腾出位置;以 O_NONBLOCK 打开的描述符不会等待,队列满时立即返回 -1 并设置 errno=EAGAIN;mq_timedsend 则允许阻塞到一个绝对截止时间,届时仍无空位会以 ETIMEDOUT 失败。

队列满时三种发送行为

实际验证三种发送方式

下面程序把队列容量故意设为 1。三个测试分别让队列保持满状态,再观察非阻塞、超时和阻塞发送的结果。阻塞测试会启动一个子进程,一秒后取走第一条消息,使父进程恢复执行。

c
#include <errno.h>
#include <fcntl.h>
#include <mqueue.h>
#include <stdio.h>
#include <stdlib.h>
#include <sys/wait.h>
#include <time.h>
#include <unistd.h>

#define QUEUE_NAME "/anystack_mq_full_demo"
#define MSG_SIZE 64

static mqd_t create_queue(int extra_flags) {
    struct mq_attr attr = {
        .mq_flags = 0,
        .mq_maxmsg = 1,
        .mq_msgsize = MSG_SIZE,
        .mq_curmsgs = 0
    };

    mq_unlink(QUEUE_NAME);
    return mq_open(QUEUE_NAME, O_CREAT | O_RDWR | extra_flags, 0600, &attr);
}

static void test_nonblocking(void) {
    mqd_t mq = create_queue(O_NONBLOCK);
    if (mq == (mqd_t)-1) {
        perror("mq_open");
        exit(EXIT_FAILURE);
    }

    if (mq_send(mq, "first", 6, 0) == -1) {
        perror("mq_send first");
        exit(EXIT_FAILURE);
    }

    if (mq_send(mq, "second", 7, 0) == -1 && errno == EAGAIN) {
        puts("nonblocking: EAGAIN");
    }

    mq_close(mq);
    mq_unlink(QUEUE_NAME);
}

static void test_timeout(void) {
    mqd_t mq = create_queue(0);
    if (mq == (mqd_t)-1) {
        perror("mq_open");
        exit(EXIT_FAILURE);
    }

    if (mq_send(mq, "first", 6, 0) == -1) {
        perror("mq_send first");
        exit(EXIT_FAILURE);
    }

    struct timespec deadline;
    clock_gettime(CLOCK_REALTIME, &deadline);
    deadline.tv_sec += 1;

    if (mq_timedsend(mq, "second", 7, 0, &deadline) == -1 &&
        errno == ETIMEDOUT) {
        puts("timed: ETIMEDOUT");
    }

    mq_close(mq);
    mq_unlink(QUEUE_NAME);
}

static void test_blocking(void) {
    mqd_t mq = create_queue(0);
    if (mq == (mqd_t)-1) {
        perror("mq_open");
        exit(EXIT_FAILURE);
    }

    if (mq_send(mq, "first", 6, 0) == -1) {
        perror("mq_send first");
        exit(EXIT_FAILURE);
    }

    pid_t pid = fork();
    if (pid == -1) {
        perror("fork");
        exit(EXIT_FAILURE);
    }

    if (pid == 0) {
        char buffer[MSG_SIZE];
        sleep(1);
        if (mq_receive(mq, buffer, sizeof(buffer), NULL) == -1) {
            perror("mq_receive");
            _exit(EXIT_FAILURE);
        }
        puts("blocking: receiver removed first message");
        mq_close(mq);
        _exit(EXIT_SUCCESS);
    }

    puts("blocking: sending second message and waiting");
    if (mq_send(mq, "second", 7, 0) == -1) {
        perror("mq_send second");
        exit(EXIT_FAILURE);
    }
    puts("blocking: send returned after a slot became free");

    waitpid(pid, NULL, 0);
    mq_close(mq);
    mq_unlink(QUEUE_NAME);
}

int main(void) {
    setbuf(stdout, NULL);
    test_nonblocking();
    test_timeout();
    test_blocking();
    return 0;
}

将源码保存为 <PATH>/mq_full_demo.c,然后编译并运行。实际路径可以不同。

bash
gcc -std=c11 -Wall -Wextra -O2 <PATH>/mq_full_demo.c -o <PATH>/mq_full_demo -lrt
<PATH>/mq_full_demo

预期输出

text
nonblocking: EAGAIN
timed: ETIMEDOUT
blocking: sending second message and waiting
blocking: receiver removed first message
blocking: send returned after a slot became free

最后两行的先后在并发调度下可能非常接近,但关键现象不变:阻塞的 mq_send 只有在消费者腾出槽位后才能返回。

满队列不是单纯的错误

队列满表示生产速度已经超过当前消费能力,因此发送策略本质上是在决定如何施加背压。不能只看到 EAGAIN 或 ETIMEDOUT 就无限重试,否则可能把 CPU、日志和上游线程一起拖垮。

需要保证任务不丢失,而且生产者允许等待时,可以采用阻塞发送,但应确保消费者不会永久停止。面向请求线程或延迟敏感链路时,通常更适合有限等待,让调用方在超时后降级或返回错误。允许丢弃低价值事件时,非阻塞发送可以快速失败,再由业务决定计数、采样或丢弃。

验证时还要观察什么

排查真实系统时,可以通过 mq_getattr 读取当前描述符和队列属性,重点关注 mq_maxmsg、mq_msgsize 与 mq_curmsgs。如果创建队列时就失败,还要检查 Linux 的 POSIX 消息队列资源限制,以及 /dev/mqueue 是否已经挂载。

真正需要设计的是“队列满以后业务应该发生什么”:等待意味着把背压传回生产者,立即失败意味着把决策交给调用方,超时则在两者之间建立一个明确边界。只要这条边界与业务的延迟和可靠性要求一致,队列容量才能成为可控的保护机制,而不是偶发卡顿的来源。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

队列满了以后发送会怎样

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通