尽管规模很大，但仍然没有获得长长的网址列表

Question

我有一个形式的任务：

1)send an http get to url based on a parameter
2)Modify the response based on the same parameter
3)send an http post to url based on the same parameter

我使用grequests来完成此任务。现在55 urls它工作正常。 然后我试着34000。它失败了 Connection aborted.', gaierror(8, 'nodename nor servname provided, or not known')) for request <grequests.AsyncRequest object at 0x1bda93610>。

然后我尝试使用size中的grequests.map参数并尝试使用size = 64。得到了同样的错误。 现在还有什么我可以做的或者我需要使用别的东西而且grequests不适合这个任务。