使用Scrapy定期抓取页面

时间:2019-08-10 07:25:58

标签: web-scraping scrapy twisted

我有一个程序,在其中我会定期抓取并检查某些域中的某些内容。这意味着我需要运行蜘蛛,获取结果,并在不确定的时间后再次运行它。这里的问题是,一旦我使用下面的代码运行蜘蛛程序,由于扭曲的反应堆无法重新启动,我将无法再次运行它。

process = CrawlerProcess(some_settings)
process.crawl(myspider)
process.start()

那么,以这种方式运行Spider时我有哪些选择?

0 个答案:

没有答案