使用报废有什么好处?

时间:2013-04-16 10:19:23

标签: scrapy scrapyd

scrapy doc说:

  

Scrapy附带一个名为“Scrapyd”的内置服务,允许您使用JSON Web服务部署(也称为。上传)您的项目并控制其蜘蛛。

在使用scrapyd时是否有一些优势?

1 个答案:

答案 0 :(得分:9)

Scrapyd允许您通过方便的Web API在与您使用的机器不同的机器上运行scrapy,这意味着您只需使用curl甚至Web浏览器上传新项目版本并运行它们。否则,如果你想在某个地方运行Scrapy,你必须scp复制新的蜘蛛代码,然后使用ssh登录并生成你的scrapy crawl myspider

如果您想并行运行多个蜘蛛,Scrapyd也会为您管理流程;但如果您在本地计算机上安装了Scrapy,并且可以访问命令行或运行蜘蛛的方法,并且只想一次运行一个蜘蛛,那么您最好手动运行蜘蛛。

如果您正在开发蜘蛛,那么您肯定不希望使用scrapyd进行快速编译/测试迭代,因为它只会增加一层复杂性。