Python urllib2错误

Question

我需要为我的服务打开一长串URL。每当我尝试打开整个列表时，我在启动程序时会收到许多错误：[Errno 24] Too many open files。我正在使用urllib2和gevent。

有没有人有任何解决方案？

感谢。

Answer 1

使用Gevent.pool一次只打开一定数量的网址，然后在打开网址时重复使用这些网址。

Answer 2

由于我们仍然不知道你到底做了什么，我只能猜测：你一次打开很多网址，然后才尝试阅读它们。相反，你应该/可以打开 - 阅读 - 关闭它们然后前进到下一个。

或者，您可以创建一个支持并发的URL加载器：打开一些 URL并尝试同时读取它们。关闭之后，您可以开始打开下一个。如果您一次将其限制为5或10，则不应再出现问题。