作为守护进程运行的scrapyd无法找到蜘蛛或项目

时间:2017-10-16 07:45:11

标签: scrapy scrapyd

蜘蛛的名称是quotes14,它在命令行中运行良好

即如果我从目录scrapy crawl quotes14运行/var/www/html/sprojects/tutorial/,它在命令行中运行正常。

我让scrapyd作为守护进程运行。

我的scrapy蜘蛛文件存在于此处:/var/www/html/sprojects/tutorial/tutorial/spiders

我在上面的目录下有很多蜘蛛和其他文件,项目是/var/www/html/sprojects/tutorial/tutorial/

我试过了

curl http://localhost:6800/schedule.json -d project=tutorial -d spider=spiders/quotes14

curl http://localhost:6800/schedule.json -d project=/var/www/html/sprojects/tutorial/tutorial/tutorial -d spider=quotes14

curl http://localhost:6800/schedule.json -d project=/var/www/html/sprojects/tutorial/tutorial/ -d spider=quotes14

curl http://localhost:6800/schedule.json -d project=/var/www/html/sprojects/tutorial/tutorial/tutorial -d spider=spiders/quotes14

它要么说未找到项目,要么找不到蜘蛛

请帮忙

1 个答案:

答案 0 :(得分:1)

要使用计划终结点,您必须首先将蜘蛛部署到守护程序。 docs告诉您如何执行此操作。

  

部署您的项目包括将其打蛋并通过addversion.json端点将蛋上传​​到Scrapyd。您可以手动执行此操作,但最简单的方法是使用scrapyd-client提供的scrapyd-deploy工具,它将为您完成所有工作。