标签: web-scraping scrapy twisted
我有一个程序,在其中我会定期抓取并检查某些域中的某些内容。这意味着我需要运行蜘蛛,获取结果,并在不确定的时间后再次运行它。这里的问题是,一旦我使用下面的代码运行蜘蛛程序,由于扭曲的反应堆无法重新启动,我将无法再次运行它。
process = CrawlerProcess(some_settings) process.crawl(myspider) process.start()
那么,以这种方式运行Spider时我有哪些选择?