操作系统 / 系统课时

IPC 消息为什么会积压

IPC 消息为什么会积压

消息队列出现积压,本质上是消息进入速度长期高于离开速度,或消费者阶段性停顿,导致队列中的待处理消息持续增加。本篇用 POSIX 消息队列复现“逐步填满直到发送失败”,并给出从速率、消费者状态和容量三个方向定位问题的方法。

学习目标

  • 用生产速率、消费速率和队列容量解释积压形成条件
  • 通过 mq_getattr 观察当前消息数并复现队列满的现象
  • 按“先确认消费端,再比较速率,最后检查容量”的顺序定位积压

积压是速率失衡的结果

把一段时间内生产的消息数记为 PP,成功消费的消息数记为 CsC_s,当前积压记为 BB。只要连续多个观察窗口都满足 P>CsP>C_s,积压就会增长;当队列达到容量上限后,生产者会阻塞,或在非阻塞模式下收到发送失败。

容量只决定“还能撑多久”,并不改变长期平衡关系。把队列从 100 条扩到 1000 条,如果生产端每秒仍比消费端多 10 条,只是把故障暴露时间从约 10 秒延后到约 100 秒。

生产、队列与消费速率导致积压的关系

用队列属性直接观察积压

POSIX 消息队列的 mq_curmsgs 表示当前队列中尚未被接收的消息数,mq_maxmsg 是最大消息条数。下面的程序创建容量为 5 的非阻塞队列,只发送不消费,因此可以稳定复现积压增长和满队列。

将以下内容保存为 mq_backlog_demo.c:

c
#include <errno.h>
#include <fcntl.h>
#include <mqueue.h>
#include <stdio.h>
#include <string.h>

int main(void) {
    const char *name = "/anystack_backlog_demo";
    struct mq_attr init = {
        .mq_flags = 0,
        .mq_maxmsg = 5,
        .mq_msgsize = 32,
        .mq_curmsgs = 0
    };

    mq_unlink(name);
    mqd_t q = mq_open(name, O_CREAT | O_RDWR | O_NONBLOCK, 0600, &init);
    if (q == (mqd_t)-1) {
        perror("mq_open");
        return 1;
    }

    for (int i = 1; i <= 6; ++i) {
        char msg[32];
        snprintf(msg, sizeof(msg), "task-%d", i);

        if (mq_send(q, msg, strlen(msg) + 1, 0) == -1) {
            if (errno == EAGAIN) {
                printf("send %d failed: queue full\n", i);
                break;
            }
            perror("mq_send");
            mq_close(q);
            mq_unlink(name);
            return 1;
        }

        struct mq_attr now;
        if (mq_getattr(q, &now) == -1) {
            perror("mq_getattr");
            mq_close(q);
            mq_unlink(name);
            return 1;
        }
        printf("after send %d: %ld/%ld messages\n",
               i, now.mq_curmsgs, now.mq_maxmsg);
    }

    mq_close(q);
    mq_unlink(name);
    return 0;
}

编译并运行:

bash
gcc -O2 -Wall mq_backlog_demo.c -o mq_backlog_demo -lrt
./mq_backlog_demo

预期输出:

text
after send 1: 1/5 messages
after send 2: 2/5 messages
after send 3: 3/5 messages
after send 4: 4/5 messages
after send 5: 5/5 messages
send 6 failed: queue full

这里没有消费者,所以 mq_curmsgs 只增不减。真实系统中如果该值长期接近 mq_maxmsg,就应继续判断是消费者停止、消费变慢,还是生产端突然加速。

按顺序定位真正瓶颈

排查时先确认消费者是否还活着以及是否持续调用接收接口。消费者崩溃、死锁、阻塞在下游 I/O,都会让“消费速率”直接降到零或接近零,此时扩容不能解决根因。

消费者正常时,再在同一时间窗口统计生产数与消费数。如果生产端稳定高于消费端,重点检查消费者并发度、单条任务耗时以及下游资源;如果只是短时峰值,则容量和削峰策略才更重要。

最后检查队列容量是否合理。POSIX 消息队列的创建参数还受系统限制约束,可结合 /proc/sys/fs/mqueue/msg_max 和 /proc/sys/fs/mqueue/msgsize_max 核对允许的上限。不要只看“队列满了”,还要确认为什么消息没有按预期速度离开。

修复后怎样验证

修复消费者或调整并发后,应连续观察多个时间窗口:新消息进入时,队列深度可以短暂上升,但随后应回落;停止生产后,积压应持续下降直至接近零。只有“消费速率能够长期追上生产速率”,才说明积压问题真正解除。

如果积压只在固定时段出现,继续把生产速率、消费耗时和队列深度放到同一时间轴上对照。这样可以区分“正常峰值缓冲”和“持续性消费能力不足”,避免把容量配置问题与消费端故障混为一谈。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

IPC 消息为什么会积压

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通