是Scrapy-Cluste生产准备好了吗?

时间:2016-07-30 11:37:22

标签: python web-scraping scrapy scrapy-spider scrapyd

我要设置自己的群集,以便使用单个组件(例如

)进行报废
  • Scrapy
  • Kafka for msg
  • Celery用于队列,Rebbitmq / redis用作代理
  • 烧瓶休息
  • Etc

我正在尝试将所有这些部件拼接在一起并制作我的爬行系统。

在[{3}}

处遇到了Scrapy-Cluster

它的规格与

非常相似
  • Zookeeper
  • 卡夫卡
  • Redis的
  • Crawler(s)Scrapy
  • Kafka Monitor
  • Redis Monitor

通过阅读文档,每个组件似乎很好地拼接在一起。这是通过istresearch>> http://scrapy-cluster.readthedocs.io/en/latest/index.html

问题是该文档看起来很有希望,但在线搜索后找不到任何人将其用于实际应用程序。

任何使用它进行制作的人或任何考虑过它但未实施的人(原因会有所帮助)都可以删除文本。

我知道这个问题非常自以为是,但任何建议都会有所帮助。

由于

0 个答案:

没有答案