Go 示例: 工作池

在这个例子中,我们将学习如何使用 goroutine 和 channel 实现一个工作池

package main
import (
    "fmt"
    "time"
)

这里就是我们的工作者,我们将同时运行多个实例。这些工作者将从 jobs 通道接收工作,并将相应的结果发送到 results 通道。我们将每个工作休眠一秒来模拟一个昂贵的任务。

func worker(id int, jobs <-chan int, results chan<- int) {
    for j := range jobs {
        fmt.Println("worker", id, "started  job", j)
        time.Sleep(time.Second)
        fmt.Println("worker", id, "finished job", j)
        results <- j * 2
    }
}
func main() {

为了使用我们的工作者池,我们需要向他们发送工作并收集他们的结果。为此,我们创建了两个通道。

    const numJobs = 5
    jobs := make(chan int, numJobs)
    results := make(chan int, numJobs)

这启动了 3 个工作者,最初处于阻塞状态,因为还没有工作。

    for w := 1; w <= 3; w++ {
        go worker(w, jobs, results)
    }

在这里,我们发送 5 个 jobs,然后 close 该通道,表示我们所有的工作都完成了。

    for j := 1; j <= numJobs; j++ {
        jobs <- j
    }
    close(jobs)

最后,我们收集所有工作的结果。这也确保了工作者 goroutine 已完成。等待多个 goroutine 的另一种方法是使用 WaitGroup

    for a := 1; a <= numJobs; a++ {
        <-results
    }
}

我们的运行程序显示了 5 个工作由不同的工作者执行。尽管总共做了大约 5 秒的工作,但程序只花了大约 2 秒,因为有 3 个工作者同时运行。

$ time go run worker-pools.go 
worker 1 started  job 1
worker 2 started  job 2
worker 3 started  job 3
worker 1 finished job 1
worker 1 started  job 4
worker 2 finished job 2
worker 2 started  job 5
worker 3 finished job 3
worker 1 finished job 4
worker 2 finished job 5
real    0m2.358s

下一个示例:WaitGroups.