Question

我在使用Scrapy管道方面遇到了问题。 EnricherPipeline永远不会开始。我把一个调试器放在process_item的第一行，它永远不会得到控制。 JsonPipeline确实启动了，但是它收到的第一个参数是类型generator object process_item而不是它应该接收的MatchItem实例（当我禁用EnricherPipeline时，JsonPipeline按预期工作。

class MatchSpider(CrawlSpider):

    def parse(self, response):
        browser = Browser(browser='Chrome')
        browser.get(response.url)
        browser.find_element_by_xpath('//a[contains(text(), "{l}") and @title="{c}"]'.format(l=self.league, c=self.country)).click()
        browser.find_element_by_xpath('//select[@id="seasons"]/option[text()="{s}"]'.format(s=self.season.replace('-', '/'))).click()
        browser.find_element_by_xpath('//a[contains(text(), "Fixture")]').click()
        page_matches = browser.find_elements_by_xpath('//*[contains(@class, "result-1 rc")]')
        matches.extend([m.get_attribute('href') for m in page_matches]
        for m in matches[:1]:
            yield Request(m, callback=self.process_match, dont_filter=True)

    def process_match(self, response):
        match_item = MatchItem()
        match_item['url'] = response.url
        match_item['project'] = self.settings.get('BOT_NAME')
        match_item['spider'] = self.name
        match_item['server'] = socket.gethostname()
        match_item['date'] = datetime.datetime.now()
        return match_item

class EnricherPipeline:
    def process_item(self, item, spider):
        self.match = defaultdict(dict)
        self.match['date'] = item['match']['startTime']
        self.match['referee'] = item['match']['refereeName']
        self.match['stadium'] = item['match']['venueName']
        self.match['exp_mins'] = item['match']['expandedMinutes']
        yield self.match


class JsonPipeline:

    def process_item(self, item, scraper):
        output_dir = 'data/matches/{league}/{season}'.format(league=scraper.league, season=scraper.season)
        if not os.path.exists(output_dir):
            os.makedirs(output_dir)
        file_name = "-".join([str(datetime.strptime(item['date'], '%Y-%m-%dT%H:%M:%S').date()),
                              item['home']['name'], item['away']['name']]) + '.json'
        item_path = os.sep.join((output_dir, file_name))
        with open(item_path, 'w') as f:
            f.write(json.dumps(item))



ITEM_PIPELINES = {
    'scrapers.whoscored.whoscored.pipelines.EnricherPipeline': 300,
    'scrapers.whoscored.whoscored.pipelines.JsonPipeline': 800,
}

Answer 1

好的，问题是EnricherPipeline正在屈服而没有返回结果。之后它按预期工作，虽然我仍然不明白为什么调试器不能在第一个管道中工作。

Answer 2

我使用dict类型的返回项编写了@FranGoitia之类的易碎代码，它可以很好地进入管道。

Answer 3

真正的原因是：

不能产生任何非base on dict的类型，scrapy引擎将不会调用管道。

奇怪的是，我花了三天时间找到了这个...

Scrapy Pipeline无法启动

3 个答案: