使用scrapy CrawlerProcess运行多个Spider不适用于scrapy-deltafetch

时间:2018-06-26 23:52:04

标签: python-3.x scrapy

运行Python 3.5 +,Scrapy 1.5.0,scrapy-deltafetch 1.2.1。

致电

时,我已经能够使scrapy-deltafetch正常工作
scrapy crawl [spider] -o [output]. 

但是,如果我按照python文件中scrapy文档中的建议在同一过程中调用多个蜘蛛,则抓取有效,但deltafetch无效。

process = CrawlerProcess({
    'USER_AGENT': default_settings.USER_AGENT,
    'FEED_FORMAT': 'csv',
    'FEED_URI': "results.csv" 
})

process.crawl(Spider1)
process.crawl(Spider2)
process.start()

(然后致电python3.6 run_spiders.py

这是否只是deltafetch的怪癖(如果是,是否有解决方法)?是否有另一个软件包支持在同一进程中运行多个蜘蛛并正确处理增量爬网?

0 个答案:

没有答案