我正试图在scrapyd 1.2的帮助下安排一个scrapy 2.1.0蜘蛛
curl --insecure http://localhost:6800/schedule.json -d project=bid -d spider=test
从理论上讲,这应该在项目投标内开始进行蜘蛛测试的爬网。而是输出错误消息:
{"node_name": "spider1", "status": "error", "message": "Scrapy 2.1.0 - no active project\n\nUnknown command: list\n\nUse \"scrapy\" to see available commands\n"}
如果我进入项目目录,则有一个带有多个蜘蛛的项目,我可以通过“ cd / var / spiders / && scrapy crawl test&”开始。
但是,在另一个文件夹中访问蜜蜂也会给我消息“没有活动的项目”:
/var$ scrapy list
Scrapy 2.1.0 - no active project
Unknown command: list
Use "scrapy" to see available commands
这看起来与我从scrapyd获得的信息完全相同,因此我怀疑我需要以某种方式配置项目所在的工作目录。
Scrapyd正在运行,我可以通过Web“ gui”访问控制台。
通过scrapyd开始工作的正确方法是什么?
答案 0 :(得分:1)
在使用scrapyd启动蜘蛛之前,您必须先部署蜘蛛。您可以通过以下方式做到这一点: