Rust / 系统课时

使用 mpsc 传递工作

使用 mpsc 传递工作

tokio::sync::mpsc 适合把工作从多个异步任务汇聚到一个消费者。关键不只是“能发消息”,而是用有界容量限制在途工作量,让发送速度超过处理速度时自然等待,并在关闭时可靠地把已入队工作处理完。

学习目标

  • 理解 mpsc 的多生产者、单消费者模型与有界队列
  • 使用容量和 send().await 建立背压
  • 正确处理发送失败、发送端释放与接收端主动关闭

多生产者如何汇聚到一个消费者

mpsc::channel(capacity) 返回一个 Sender<T> 和一个 Receiver<T>。Sender 可以克隆,因此多个生产者能向同一个队列发送;Receiver 不能克隆,队列中的每条消息只由这一接收端取走。

Tokio mpsc 有界通道与背压关系

有界通道的容量表示尚未被接收、以及已被预留的槽位上限。队列满时,send().await 会等待可用容量;消费者取走消息后,容量恢复,等待的发送者才继续。这就是背压:生产者的推进速度被消费者的实际处理能力限制,而不是无限积压内存。

用有界容量观察背压

下面的最小项目把容量设为 1,并克隆出两个发送端。第二个发送端先用 try_send 观察“队列已满”,随后在消费者释放容量后再通过 send().await 发送。

Cargo.toml 需要启用 Tokio 的运行时、宏和同步原语功能:

toml
[package]
name = "mpsc-demo"
version = "0.1.0"
edition = "2024"

[dependencies]
tokio = { version = "1", features = ["macros", "rt-multi-thread", "sync"] }

src/main.rs:

rust
use tokio::sync::mpsc;

#[tokio::main]
async fn main() {
    let (tx_a, mut rx) = mpsc::channel::<&'static str>(1);
    let tx_b = tx_a.clone();

    // 第一条消息占满唯一槽位,立即发送不会再有空余容量。
    tx_a.send("job-A").await.unwrap();

    match tx_b.try_send("job-B") {
        Err(mpsc::error::TrySendError::Full(job)) => {
            println!("queue full: {job}");
        }
        other => panic!("unexpected result: {other:?}"),
    }

    let first = rx.recv().await.unwrap();
    println!("received: {first}");

    // 消费 job-A 后容量恢复,第二个生产者现在可以继续。
    tx_b.send("job-B").await.unwrap();
    let second = rx.recv().await.unwrap();
    println!("received: {second}");

    drop(tx_a);
    drop(tx_b);

    if rx.recv().await.is_none() {
        println!("channel closed");
    }
}

预期输出

text
queue full: job-B
received: job-A
received: job-B
channel closed

这里用 try_send 是为了让“满队列”可观测且不阻塞;真实生产者通常直接调用 send().await。当容量不足时,该 Future 挂起,任务不会占用线程忙等。容量不宜机械设大:过大会把压力隐藏成排队延迟和内存占用,过小则可能让生产者过早受限。

关闭语义与失败边界

当所有 Sender 都被释放后,接收端会先读完缓冲区中的消息,随后 recv().await 返回 None。因此消费者可以用 while let Some(job) = rx.recv().await 自然地处理到通道结束。

如果消费者需要主动停止接收,可调用 Receiver::close()。关闭后新的 send 会失败,但已经缓冲的消息仍可继续取出;若直接释放 Receiver,尚未取走的消息会被丢弃。发送端调用 send 时若发现接收端已关闭,会得到 SendError<T>,其中保留了未发送成功的原值。

把 mpsc 当成“有容量上限的工作入口”更准确:克隆 Sender 扩展生产者数量,用唯一 Receiver 串起消费侧,再用有限容量把过载压力反向传回生产者。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

使用 mpsc 传递工作

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通