Scrapy，错误后继续爬行

Question

我有一个scrapy蜘蛛，每个项目爬行两个量。问题是我必须使用float方法，所以当发生其中一个被抓取的字段为空时，我收到一个错误，蜘蛛停止抓取该页面中的元素，然后直接进入下一个页。

有没有可能告诉scrapy在出错后继续爬行？这是我蜘蛛的代码。谢谢！

def parse(self, response):
    for sel in response.xpath('//li[@class="oneclass"]'):
        item = exampleItem()
        item['quant1'] = float(sel.xpath('a/div/span[@class="exampleclass"]/span[@class="amount"]/text()'))
        item['quant2'] = float(sel.xpath('div[@class="otherexampleclass"]/input/@max'))
        yield item

Answer 1

你可以将它包装在try / except块中：

  string fileName = response.FileName.Replace(' ','_');