Question

如何将不同蜘蛛的项目写入不同的MongoDB集合？

项目结构如下：

myproject/
    scrapy.cfg
    myproject/
        __init__.py
        items.py
        pipelines.py
        settings.py
        spiders/
            __init__.py
            spider1.py
            spider2.py
            ...

根据文档https://doc.scrapy.org/en/latest/topics/item-pipeline.html#write-items-to-mongodb

在这个例子中，我们将使用pymongo将项目写入MongoDB。 MongoDB地址和数据库名称在Scrapy设置中指定; MongoDB集合以item class命名。

还有一段来自docs的代码：

import pymongo

class MongoPipeline(object):

    collection_name = 'scrapy_items'

    def __init__(self, mongo_uri, mongo_db):
        self.mongo_uri = mongo_uri
        self.mongo_db = mongo_db

    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            mongo_uri=crawler.settings.get('MONGO_URI'),
            mongo_db=crawler.settings.get('MONGO_DATABASE', 'items')
        )

    def open_spider(self, spider):
        self.client = pymongo.MongoClient(self.mongo_uri)
        self.db = self.client[self.mongo_db]

    def close_spider(self, spider):
        self.client.close()

    def process_item(self, item, spider):
        self.db[self.collection_name].insert_one(dict(item))
        return item

在上面的代码中，集合名称是：

collection_name = 'scrapy_items'

质疑：

我想为不同的蜘蛛设置不同的集合名称，怎么做？

Answer 1

在您的抓取工具类中插入您想要的名称

class Spider1(scrapy.Spider):
    collection_name = 'scrapy_items_my_crawler'

并改变

def open_spider(self, spider):
    self.client = pymongo.MongoClient(self.mongo_uri)
    self.db = self.client[self.mongo_db]

到

def open_spider(self, spider):
    self.client = pymongo.MongoClient(self.mongo_uri)
    self.db = self.client[self.mongo_db]
    if hasattr(spider, 'collection_name'):
       self.collection_name = spider.collection_name

如果您的蜘蛛定义了蜘蛛，这将覆盖基于您的蜘蛛的collection_name。如果没有，那么它将使用默认的scrapy_items

Scrapy：如何将不同蜘蛛的项目写入不同的MongoDB集合？

1 个答案: