在AWS上设置scrapy集群

时间:2016-10-25 08:49:06

标签: python scrapy amazon-ecs

我希望在Amazon集群(EC2容器服务)上设置scrapy-cluster,但是我不熟悉软件包和分布式计算。我已经有一个工作版本的scrapy工作,但它是时候扩展。 scrapy-cluster文档讨论了如何设置vagrant,但是我不确定如何通过在所有这些中发生分布式抓取来说出10个实例。有人可以概述这样做的步骤或指出我正确的方向。

0 个答案:

没有答案
相关问题