我想调用函数来使用HTTP请求在Web上抓取数据,但是按顺序调用每个函数的速度太慢,因此我在python中发现了gevent库以使逻辑并行运行。但源代码如下所示。如果内容很大,我会得到如下错误。如何设置gevent在有限的资源中调用我的函数?
monkey.patch_all()
threads = [gevent.spawn(yahoo.download_csv, tkr) for tkr in content]
gevent.joinall(threads)
错误是..
File "D:\dev\Python36-64\lib\ssl.py", line 465, in options
super(SSLContext, SSLContext).options.__set__(self, value)
[Previous line repeated 318 more times]
RecursionError: maximum recursion depth exceeded while calling a Python object
yahoo.download_csv是使用http请求抓取数据并根据代码返回已爬网数据的函数。