Scrapy不返回任何结果

时间:2018-08-08 17:50:44

标签: scrapy scrapy-pipeline

我需要计算每个产品的所有出现次数,并用每个产品的出现次数填充结果。因此,我尝试使用以下pipiline实现此目的。但是,它不会返回任何结果。我做错了什么? 这是我的pipiline:

def __init__(self):
    self.ids_seen = {}


def close_spider(self, spider):
    for i in self.ids_seen:
        yield i

def process_item(self, item, spider):
    if item['product_id'] in self.ids_seen:
        self.ids_seen[item['product_id']]['count']+=1
    else:
        self.ids_seen[item['product_id']]=item
        self.ids_seen[item['product_id']]['count'] = 1

0 个答案:

没有答案