Scrapy:如何在一个Redis队列中使用多个Spider

时间:2018-10-18 12:08:35

标签: python scrapy

我正在学习scrapy-redis,在一个scrapy-redis项目中有多个蜘蛛。如何智能地控制每个蜘蛛的启动和停止?并且在一个项目中仅将每个蜘蛛共享一个蜘蛛就可以使用多个蜘蛛设置?
我的代码是这样的

from scrapy_redis.spiders import RedisSpider
from scrapy.crawler import CrawlerProcess


class MySpider1(RedisSpider):
...

class MySpider2(RedisSpider):
...

process = CrawlerProcess()
process.crawl(MySpider1)
process.crawl(MySpider2)
process.start()

我必须向每个蜘蛛输入start_url,这很不方便。是否有任何聪明的方法来控制它?

0 个答案:

没有答案