使用网页触发scrapy shell

时间:2015-08-11 10:14:53

标签: flask web-scraping web-crawler scrapy scrapy-spider

我是scrapy和python的新手。我写了一个蜘蛛,它从命令行获取start_urls并开始抓取。一切都很好。

现在,我想从网页提交start_urls(使用Flask设计)。点击按钮后,它应该触发scrapy shell并开始抓取网站。

1 个答案:

答案 0 :(得分:0)

这是scrapyd项目可以提供的帮助。您可以使用JSON API来部署和运行您的蜘蛛。这样,您的Web应用程序部件就不会被活动的Web抓取过程阻止:

  

Scrapyd是一个部署和运行Scrapy蜘蛛的应用程序。它   使您能够部署(上传)项目并控制其蜘蛛   使用JSON API。