我正在使用Portia制作蜘蛛并将其作为Scrapy项目下载。之后,我开始Scrapyd部署我的项目。但是,当我安排搜寻器时,它会运行并且不会爬行任何内容。
以下是日志:Pastebin Link(由于Stackoverflow字数限制而链接)
按如下方式使用scrapyd-deploy:
$ python scrapyd-deploy -l
输出:
local http://localhost:6800/
蜘蛛被正确部署,并且也可以运行。但是没有刮擦或爬网的物品。
使用以下命令安排蜘蛛:
$ curl http://localhost:6800/schedule.json -d project=myproject -d spider=spidername
使用以下命令结构来部署Spider:
python scrapyd-deploy <target> -p <project>
我运行Windows 10,已成功安装并运行docker。 Portia运转良好,scrapy运转良好。已安装scrapyd-client,但命令未运行。必须将“ scrapyd-deploy”文件复制并粘贴到项目文件夹中以使其运行。
任何解决方案将不胜感激。谢谢。