scrapy doc说:
Scrapy附带一个名为“Scrapyd”的内置服务,允许您使用JSON Web服务部署(也称为。上传)您的项目并控制其蜘蛛。
在使用scrapyd时是否有一些优势?
答案 0 :(得分:9)
Scrapyd允许您通过方便的Web API在与您使用的机器不同的机器上运行scrapy,这意味着您只需使用curl
甚至Web浏览器上传新项目版本并运行它们。否则,如果你想在某个地方运行Scrapy,你必须scp
复制新的蜘蛛代码,然后使用ssh
登录并生成你的scrapy crawl myspider
。
如果您正在开发蜘蛛,那么您肯定不希望使用scrapyd
进行快速编译/测试迭代,因为它只会增加一层复杂性。