Go / 系统课时
构建可取消 Pipeline
构建可取消 Pipeline
本课构建一个可取消的多阶段 Channel Pipeline:上游生成任务,中间阶段处理数据,下游输出结果,并把 Context 取消、通道关闭和 goroutine 退出统一到一条完整路径,确保超时后不会遗留后台 goroutine。
学习目标
- 能拆分 Pipeline 的阶段职责与 Channel 所有权。
- 能用
context.Context传播取消信号,并让每个阶段可及时退出。 - 能正确关闭通道,验证正常完成与取消退出两条路径都能收敛。
Pipeline 的退出模型
Pipeline 最容易出错的地方不是数据处理,而是退出。正常路径要求上游完成后关闭输出通道,中间阶段读完输入并关闭自己的输出;取消路径则要求每个阶段同时监听 ctx.Done(),否则下游已经退出,上游仍可能永久阻塞在 Channel 发送上。
当一个 Pipeline 包含生成、变换、聚合等多个阶段时,读者需要同时追踪数据流、取消信号和通道关闭关系。用图看这三条关系比只看代码更直观。

阶段职责与通道所有权
一个实用规则是:谁创建并持续发送某个通道,谁负责在发送结束时关闭它。接收方只负责消费,不负责关闭。这样可以让“数据流结束”和“取消执行”保持不同职责:close(channel) 表示不会再有新数据,cancel() 表示当前工作可以停止。
每个阶段都应把输入、输出和取消处理写在同一处。发送结果时不能只写 out <- value,而应让发送也可被取消;否则下游提前退出后,上游可能卡在一次永远无法完成的发送操作。
主示例
下面示例包含两个阶段:generate 生成整数,square 计算平方,主函数在收到一定数量后主动取消。两个阶段都监听 ctx.Done(),并分别在自己的生产结束路径关闭输出通道。
package main
import (
"context"
"fmt"
"sync"
)
func generate(ctx context.Context, wg *sync.WaitGroup, out chan<- int) {
defer wg.Done()
defer close(out)
for i := 1; i <= 10; i++ {
select {
case <-ctx.Done():
return
case out <- i:
}
}
}
func square(ctx context.Context, wg *sync.WaitGroup, in <-chan int, out chan<- int) {
defer wg.Done()
defer close(out)
for {
select {
case <-ctx.Done():
return
case value, ok := <-in:
if !ok {
return
}
result := value * value
select {
case <-ctx.Done():
return
case out <- result:
}
}
}
}
func main() {
ctx, cancel := context.WithCancel(context.Background())
defer cancel()
generated := make(chan int)
squared := make(chan int)
var wg sync.WaitGroup
wg.Add(2)
go generate(ctx, &wg, generated)
go square(ctx, &wg, generated, squared)
count := 0
for value := range squared {
fmt.Println(value)
count++
if count == 3 {
// 取消从 context 向所有阶段广播,而不是逐个关闭内部通道。
cancel()
}
}
wg.Wait()
fmt.Printf("pipeline stopped after %d results\n", count)
}预期输出
1
4
9
pipeline stopped after 3 results这里前三个结果及其之后的退出是确定的;取消发生后,调度时机可能让上游已经生成了额外数据,但这些数据不会保证最终进入下游,因此不要把“取消瞬间已经发送多少值”写成固定输出。
正常结束与取消结束
正常结束时,generate 发送完全部数据并关闭 generated;square 读到 generated 关闭后关闭 squared;主函数读到 squared 关闭后继续收尾。这条路径依赖通道关闭传播“没有更多数据”。
取消结束时,cancel() 只负责广播退出信号,不应该由调用方尝试关闭 generated 或 squared。各阶段自己结束并关闭自己拥有的输出通道,最终由 WaitGroup 确认 goroutine 已经退出。
实际服务中的 Pipeline 还应考虑每个阶段的单独超时、缓冲容量和错误传播。一个可靠模式是把业务错误也纳入统一的取消路径:任一关键阶段失败后先取消 Context,其余阶段停止继续生产,最后等待所有 goroutine 收敛。只要每次 Channel 发送和接收都明确处理取消,Pipeline 才真正具备可控的退出能力。