在一个项目中同时运行多个蜘蛛

时间:2019-06-13 16:58:05

标签: python scrapy

我草率地写了四只蜘蛛。所有这些都在一个项目中。
如果我分开运行它们,它们会很好地工作。但是,如果我使用下面的代码,则有2个蜘蛛,它们速度快,完成快,另外两个蜘蛛则没有机会运行,因为它们由于飞溅等而变慢。
所有蜘蛛都共享相同的管道。他们在互相阻挡吗?

这是我想要实现的图像: Architecture Scrapy

setting = get_project_settings()
setting.set('LOG_LEVEL','WARNING' )

process = CrawlerProcess(setting)

for spider_name in process.spiders.list():
    print ("Running spider %s" % (spider_name))

    process.crawl(spider_name,stadtid=461) #query dvh is custom argument used in your scrapy
process.start()

0 个答案:

没有答案