在多个EC2实例上部署在AWS上的Scrapy Cluster

时间:2018-09-26 17:11:08

标签: scrapy scrapy-spider

我正在使用scrapy集群和自定义代码来抓取多个不同的网站。 而我遇到以下问题(ec2 1spider和ec2 2spider)。

1)AWS中有2个ec2实例正在运行,并且两个ec2 scrappy中均已安装,并且一个redis正在对此进行通信 2)我现在有两个不同的网站示例站点Abc.com和站点Bcd.com,当两个消息都传到Redis时,ec2 1spider将处理两个网站,为什么ec2 2spider处于闲置状态?如何解决此问题。

我需要两个ec2实例选择消息,每个示例站点abc.com应该由ec2 1spider处理,而bcd.com应该由ec2 2spider处理,反之亦然

0 个答案:

没有答案