我是scrapy和python的新手。我写了一个蜘蛛,它从命令行获取start_urls并开始抓取。一切都很好。
现在,我想从网页提交start_urls(使用Flask设计)。点击按钮后,它应该触发scrapy shell并开始抓取网站。
答案 0 :(得分:0)
这是scrapyd
项目可以提供的帮助。您可以使用JSON API来部署和运行您的蜘蛛。这样,您的Web应用程序部件就不会被活动的Web抓取过程阻止:
Scrapyd是一个部署和运行Scrapy蜘蛛的应用程序。它 使您能够部署(上传)项目并控制其蜘蛛 使用JSON API。