我正试图在AWS Lambda中运行scrapy蜘蛛。
我收到此错误:
module initialization error: 'twisted.internet.reactor'
蜘蛛在EC2 linux AMI上正常运行
到目前为止,我已经尝试过:
使用钩针使scrapy表现得像阻塞过程。 https://pypi.python.org/pypi/crochet
使用ScrapyScript在主要区域外进行扭曲运行 线程。
重新安装twisted(pip install twisted)
使用stop_after_crawl=False
运行scrapy,因为它似乎充当了一个
作者的解决方法
Scrapy throws error ReactorNotRestartable when runnning on AWS Lambda