Scrapyd无法爬行portia生成的蜘蛛视窗

时间:2018-07-20 08:20:37

标签: scrapy scrapy-spider scrapyd portia

我正在使用Portia制作蜘蛛并将其作为Scrapy项目下载。之后,我开始Scrapyd部署我的项目。但是,当我安排搜寻器时,它会运行并且不会爬行任何内容。

以下是日志:Pastebin Link(由于Stackoverflow字数限制而链接)

按如下方式使用scrapyd-deploy:

$ python scrapyd-deploy -l

输出:

local                http://localhost:6800/

蜘蛛被正确部署,并且也可以运行。但是没有刮擦或爬网的物品。

使用以下命令安排蜘蛛:

$ curl http://localhost:6800/schedule.json -d project=myproject -d spider=spidername

使用以下命令结构来部署Spider:

python scrapyd-deploy <target> -p <project>

我运行Windows 10,已成功安装并运行docker。 Portia运转良好,scrapy运转良好。已安装scrapyd-client,但命令未运行。必须将“ scrapyd-deploy”文件复制并粘贴到项目文件夹中以使其运行。

任何解决方案将不胜感激。谢谢。

0 个答案:

没有答案