用Web表单调用Scrapy / Scrapyrt

时间:2018-01-20 00:56:08

标签: web scrapy

我尝试制作一个使用scrapy来调用scrapyrt的网络表单。但是我遇到了一个问题:当我发出命令它结束时,我的意思是,当我关闭broswer时,蜘蛛停止。

有人知道我可以通过调用蜘蛛来实现Web表单吗?

谢谢大家。

1 个答案:

答案 0 :(得分:0)

ScrapyD可以满足您的要求。 Here is how to install it

安装完成后,进入Scrapy的项目根文件夹,运行scrapyd-deploy,它将在ScrapyD上部署您的项目。

然后执行此命令来运行刮刀。

http://localhost:6800/schedule.json?project=default&spider=yourspidername