Scrapyd:没有活动项目-如何使用scrapyd安排蜘蛛

时间:2020-05-04 21:53:34

标签: scrapy scrapyd

我正试图在scrapyd 1.2的帮助下安排一个scrapy 2.1.0蜘蛛

 curl --insecure http://localhost:6800/schedule.json -d project=bid -d spider=test

从理论上讲,这应该在项目投标内开始进行蜘蛛测试的爬网。而是输出错误消息:

 {"node_name": "spider1", "status": "error", "message": "Scrapy 2.1.0 - no active project\n\nUnknown command: list\n\nUse \"scrapy\" to see available commands\n"}

如果我进入项目目录,则有一个带有多个蜘蛛的项目,我可以通过“ cd / var / spiders / && scrapy crawl test&”开始。

但是,在另一个文件夹中访问蜜蜂也会给我消息“没有活动的项目”:

/var$ scrapy list
Scrapy 2.1.0 - no active project

Unknown command: list

Use "scrapy" to see available commands

这看起来与我从scrapyd获得的信息完全相同,因此我怀疑我需要以某种方式配置项目所在的工作目录。

Scrapyd正在运行,我可以通过Web“ gui”访问控制台。

通过scrapyd开始工作的正确方法是什么?

1 个答案:

答案 0 :(得分:1)

在使用scrapyd启动蜘蛛之前,您必须先部署蜘蛛。您可以通过以下方式做到这一点:

相关问题