如何使用gevent不超过http连接池?

时间:2017-11-14 01:40:59

标签: gevent

我想调用函数来使用HTTP请求在Web上抓取数据,但是按顺序调用每个函数的速度太慢,因此我在python中发现了gevent库以使逻辑并行运行。但源代码如下所示。如果内容很大,我会得到如下错误。如何设置gevent在有限的资源中调用我的函数?

    monkey.patch_all()
    threads = [gevent.spawn(yahoo.download_csv, tkr) for tkr in content]
    gevent.joinall(threads)

错误是..

    File "D:\dev\Python36-64\lib\ssl.py", line 465, in options
      super(SSLContext, SSLContext).options.__set__(self, value)
    [Previous line repeated 318 more times]
  RecursionError: maximum recursion depth exceeded while calling a Python object

yahoo.download_csv是使用http请求抓取数据并根据代码返回已爬网数据的函数。

0 个答案:

没有答案