Scrapyd vs Windows任务计划程序

Question

我想在Azure虚拟机上运行一小组Scrapy蜘蛛。我正在寻找自动化解决方案。目前似乎Windows任务计划程序将在一个虚拟机实例上运行3-5个蜘蛛。我唯一担心的是我是否可以让它同时运行这些蜘蛛？

如果已经有任务计划程序可以并行运行蜘蛛，那么使用Scrapyd可以获得更长期的优势，例如：如果长期说100只蜘蛛在范围内？作为替代方案，也许少数具有任务调度程序的虚拟机也可以完成工作。由于Windows上的其他发展，我试图远离Linux，而且我已经看到了在Windows上使用Scrapyd的一些顾虑。

Answer 1

我在尝试在Windows上设置Scrapyd时遇到了问题，特别是Scrapyd-Client。我联系了运行它的开发人员，他们提到Windows的Scrapyd服务器不是该项目的一部分。有趣的是，因为我实际上设法运行它而没有特定的问题，有一个pip安装，我只是没有设法使用Scrapyd-Client正常启动。 SOF上的一些人声称已经能够在Windows上运行Scrapyd，但是Linux在这个工具上处于领先地位，所以我不会反对当前的。

Scrapy是一个很棒的工具，但是让Scrapyd至少在我的Windows上使用并不是我期望的体验，所以暂时我将使用基本的Windows任务计划程序选项。