Go / 系统课时

构建可取消 Pipeline

构建可取消 Pipeline

本课构建一个可取消的多阶段 Channel Pipeline:上游生成任务,中间阶段处理数据,下游输出结果,并把 Context 取消、通道关闭和 goroutine 退出统一到一条完整路径,确保超时后不会遗留后台 goroutine。

学习目标

  • 能拆分 Pipeline 的阶段职责与 Channel 所有权。
  • 能用 context.Context 传播取消信号,并让每个阶段可及时退出。
  • 能正确关闭通道,验证正常完成与取消退出两条路径都能收敛。

Pipeline 的退出模型

Pipeline 最容易出错的地方不是数据处理,而是退出。正常路径要求上游完成后关闭输出通道,中间阶段读完输入并关闭自己的输出;取消路径则要求每个阶段同时监听 ctx.Done(),否则下游已经退出,上游仍可能永久阻塞在 Channel 发送上。

当一个 Pipeline 包含生成、变换、聚合等多个阶段时,读者需要同时追踪数据流、取消信号和通道关闭关系。用图看这三条关系比只看代码更直观。

可取消 Pipeline 的数据流与退出路径

阶段职责与通道所有权

一个实用规则是:谁创建并持续发送某个通道,谁负责在发送结束时关闭它。接收方只负责消费,不负责关闭。这样可以让“数据流结束”和“取消执行”保持不同职责:close(channel) 表示不会再有新数据,cancel() 表示当前工作可以停止。

每个阶段都应把输入、输出和取消处理写在同一处。发送结果时不能只写 out <- value,而应让发送也可被取消;否则下游提前退出后,上游可能卡在一次永远无法完成的发送操作。

主示例

下面示例包含两个阶段:generate 生成整数,square 计算平方,主函数在收到一定数量后主动取消。两个阶段都监听 ctx.Done(),并分别在自己的生产结束路径关闭输出通道。

go
package main

import (
	"context"
	"fmt"
	"sync"
)

func generate(ctx context.Context, wg *sync.WaitGroup, out chan<- int) {
	defer wg.Done()
	defer close(out)

	for i := 1; i <= 10; i++ {
		select {
		case <-ctx.Done():
			return
		case out <- i:
		}
	}
}

func square(ctx context.Context, wg *sync.WaitGroup, in <-chan int, out chan<- int) {
	defer wg.Done()
	defer close(out)

	for {
		select {
		case <-ctx.Done():
			return
		case value, ok := <-in:
			if !ok {
				return
			}

			result := value * value
			select {
			case <-ctx.Done():
				return
			case out <- result:
			}
		}
	}
}

func main() {
	ctx, cancel := context.WithCancel(context.Background())
	defer cancel()

	generated := make(chan int)
	squared := make(chan int)

	var wg sync.WaitGroup
	wg.Add(2)
	go generate(ctx, &wg, generated)
	go square(ctx, &wg, generated, squared)

	count := 0
	for value := range squared {
		fmt.Println(value)
		count++
		if count == 3 {
			// 取消从 context 向所有阶段广播,而不是逐个关闭内部通道。
			cancel()
		}
	}

	wg.Wait()
	fmt.Printf("pipeline stopped after %d results\n", count)
}

预期输出

text
1
4
9
pipeline stopped after 3 results

这里前三个结果及其之后的退出是确定的;取消发生后,调度时机可能让上游已经生成了额外数据,但这些数据不会保证最终进入下游,因此不要把“取消瞬间已经发送多少值”写成固定输出。

正常结束与取消结束

正常结束时,generate 发送完全部数据并关闭 generated;square 读到 generated 关闭后关闭 squared;主函数读到 squared 关闭后继续收尾。这条路径依赖通道关闭传播“没有更多数据”。

取消结束时,cancel() 只负责广播退出信号,不应该由调用方尝试关闭 generated 或 squared。各阶段自己结束并关闭自己拥有的输出通道,最终由 WaitGroup 确认 goroutine 已经退出。

实际服务中的 Pipeline 还应考虑每个阶段的单独超时、缓冲容量和错误传播。一个可靠模式是把业务错误也纳入统一的取消路径:任一关键阶段失败后先取消 Context,其余阶段停止继续生产,最后等待所有 goroutine 收敛。只要每次 Channel 发送和接收都明确处理取消,Pipeline 才真正具备可控的退出能力。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

构建可取消 Pipeline

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通