蜘蛛的名称是quotes14
,它在命令行中运行良好
即如果我从目录scrapy crawl quotes14
运行/var/www/html/sprojects/tutorial/
,它在命令行中运行正常。
我让scrapyd作为守护进程运行。
我的scrapy蜘蛛文件存在于此处:/var/www/html/sprojects/tutorial/tutorial/spiders
我在上面的目录下有很多蜘蛛和其他文件,项目是/var/www/html/sprojects/tutorial/tutorial/
我试过了
curl http://localhost:6800/schedule.json -d project=tutorial -d spider=spiders/quotes14
curl http://localhost:6800/schedule.json -d project=/var/www/html/sprojects/tutorial/tutorial/tutorial -d spider=quotes14
curl http://localhost:6800/schedule.json -d project=/var/www/html/sprojects/tutorial/tutorial/ -d spider=quotes14
curl http://localhost:6800/schedule.json -d project=/var/www/html/sprojects/tutorial/tutorial/tutorial -d spider=spiders/quotes14
它要么说未找到项目,要么找不到蜘蛛
请帮忙
答案 0 :(得分:1)
要使用计划终结点,您必须首先将蜘蛛部署到守护程序。 docs告诉您如何执行此操作。
部署您的项目包括将其打蛋并通过addversion.json端点将蛋上传到Scrapyd。您可以手动执行此操作,但最简单的方法是使用scrapyd-client提供的scrapyd-deploy工具,它将为您完成所有工作。