我正在使用scrapy集群和自定义代码来抓取多个不同的网站。 而我遇到以下问题(ec2 1spider和ec2 2spider)。
1)AWS中有2个ec2实例正在运行,并且两个ec2 scrappy中均已安装,并且一个redis正在对此进行通信 2)我现在有两个不同的网站示例站点Abc.com和站点Bcd.com,当两个消息都传到Redis时,ec2 1spider将处理两个网站,为什么ec2 2spider处于闲置状态?如何解决此问题。
我需要两个ec2实例选择消息,每个示例站点abc.com应该由ec2 1spider处理,而bcd.com应该由ec2 2spider处理,反之亦然