Go 语言并发模式:从 Pipeline 到 Worker Pool
Go 语言的并发模型基于 CSP(Communicating Sequential Processes),goroutine 轻量级的用户态线程和 channel 类型安全的通信机制,使得并发编程变得直观而高效。本文将深入几种在生产环境中广泛使用的并发模式。
Pipeline 模式将复杂处理拆分为多个阶段,每个阶段通过 channel 串联:
func gen(nums ...int) <-chan int {
out := make(chan int)
go func() {
for _, n := range nums {
out <- n
}
close(out)
}()
return out
}
func square(in <-chan int) <-chan int {
out := make(chan int)
go func() {
for n := range in {
out <- n * n
}
close(out)
}()
return out
}
// 串联: gen -> square -> 消费
pipeline := square(square(gen(2, 3)))
Worker Pool 模式通过固定数量的 goroutine 处理任务,避免无限制创建 goroutine 导致的资源耗尽:
func worker(id int, jobs <-chan int, results chan<- int) {
for j := range jobs {
results <- j * j
}
}
// 启动 3 个 worker
for w := 1; w <= 3; w++ {
go worker(w, jobs, results)
}
Fan-in/Fan-out 模式将一个 channel 的数据分发到多个处理 goroutine,再将结果汇聚到一个输出 channel。这种模式在需要并行处理大量独立任务时特别有效,比如批量 HTTP 请求或数据转换。关键是要正确处理 channel 的关闭和 context 的取消,确保 goroutine 不会泄漏。
在实际项目中,这些模式往往组合使用。例如我们的日志处理管道就采用了 Pipeline + Worker Pool 的混合架构,单机 QPS 从 5000 提升到了 28000,同时内存占用保持在可控范围内。