我草率地写了四只蜘蛛。所有这些都在一个项目中。
如果我分开运行它们,它们会很好地工作。但是,如果我使用下面的代码,则有2个蜘蛛,它们速度快,完成快,另外两个蜘蛛则没有机会运行,因为它们由于飞溅等而变慢。
所有蜘蛛都共享相同的管道。他们在互相阻挡吗?
这是我想要实现的图像: Architecture Scrapy
setting = get_project_settings()
setting.set('LOG_LEVEL','WARNING' )
process = CrawlerProcess(setting)
for spider_name in process.spiders.list():
print ("Running spider %s" % (spider_name))
process.crawl(spider_name,stadtid=461) #query dvh is custom argument used in your scrapy
process.start()