Question

我正在尝试处理包含200个网址的文件，并使用每个网址发出HTTP请求。我需要每次最多同时处理10个URL（代码应该阻塞，直到10个URL完成处理）。试图在go中解决它，但我继续使用200个并发连接创建处理整个文件。

asset-name-#{HASH}

我该怎么办？

Answer 1

从channel读取的10个例行程序池应满足您的要求。

work := make(chan string)

// get original 200 urls
var urlsToProcess []string = seedUrls() 

// startup pool of 10 go routines and read urls from work channel 
for i := 0; i<=10; i++ {
  go func(w chan string) {
     url := <-w
  }(work)
}

// write urls to the work channel, blocking until a worker goroutine
// is able to start work
for _, url := range urlsToProcess {
  work <- url
}

清理和请求结果留给您练习。 Go渠道将被阻止，直到其中一个工作程序能够读取。

Answer 2

像这样的代码

longTimeAct := func(index int, w chan struct{}, wg *sync.WaitGroup) {
        defer wg.Done()
        time.Sleep(1 * time.Second)
        println(index)
        <-w
}
wg := new(sync.WaitGroup)
ws := make(chan struct{}, 10)
for i := 0; i < 100; i++ {
        ws <- struct{}{}
        wg.Add(1)
        go longTimeAct(i, ws, wg)
}
wg.Wait()

在Golang中处理并发HTTP请求

2 个答案: