Go 语言并发模式:从 Pipeline 到 Worker Pool

Go 语言并发模式:从 Pipeline 到 Worker Pool

Go 语言的并发模型基于 CSP(Communicating Sequential Processes),goroutine 轻量级的用户态线程和 channel 类型安全的通信机制,使得并发编程变得直观而高效。本文将深入几种在生产环境中广泛使用的并发模式。

Pipeline 模式将复杂处理拆分为多个阶段,每个阶段通过 channel 串联:

示意图
示意图
func gen(nums ...int) <-chan int {
    out := make(chan int)
    go func() {
        for _, n := range nums {
            out <- n
        }
        close(out)
    }()
    return out
}

func square(in <-chan int) <-chan int {
    out := make(chan int)
    go func() {
        for n := range in {
            out <- n * n
        }
        close(out)
    }()
    return out
}

// 串联: gen -> square -> 消费
pipeline := square(square(gen(2, 3)))

Worker Pool 模式通过固定数量的 goroutine 处理任务,避免无限制创建 goroutine 导致的资源耗尽:

func worker(id int, jobs <-chan int, results chan<- int) {
    for j := range jobs {
        results <- j * j
    }
}

// 启动 3 个 worker
for w := 1; w <= 3; w++ {
    go worker(w, jobs, results)
}

Fan-in/Fan-out 模式将一个 channel 的数据分发到多个处理 goroutine,再将结果汇聚到一个输出 channel。这种模式在需要并行处理大量独立任务时特别有效,比如批量 HTTP 请求或数据转换。关键是要正确处理 channel 的关闭和 context 的取消,确保 goroutine 不会泄漏。

在实际项目中,这些模式往往组合使用。例如我们的日志处理管道就采用了 Pipeline + Worker Pool 的混合架构,单机 QPS 从 5000 提升到了 28000,同时内存占用保持在可控范围内。