Question

我目前对我的scrapy代码有疑问：我正在废弃一个网站，并尝试获取数据。有时候在某些页面中，这些数据并不存在，然后我就像预期的那样拥有众所周知的indexerror。但附加到它的所有记录都没有放在输出文件中：那很烦人。

我如何找到解决方案？我尝试了if response.xpath（＆＃34; whatever_data＆＃34;）=＆＃34;＆＃34;：.. else ..

我试着尝试一下，我尝试了除了indexerror之外没什么用。

有什么想法吗？

这是我的代码：

class QuotesSpider(scrapy.Spider):
name = "quotes"

   start_urls = ['http://www.verif.com/recherche/?search=v/1/ca/h_siren=&h_code_ape=2060Z']

def parse(self, response):
    for lien_fiche in response.css('a::attr(href)').re(r'\/societe\/.+'):

        yield scrapy.Request(response.urljoin(lien_fiche), callback=self.parse_fiche)
    next_page = response.css('a.btn-page.btn-next::attr(onclick)').re(r'/recherche.+2060Z')[0]
    if next_page is not None:

        next_page = response.urljoin(next_page)
        yield scrapy.Request(next_page, callback=self.parse)

def parse_fiche(self, response):

        code_ape = "2060Z"

        yield {
            'nom': response.xpath('//td[@class="tdhead"][text()="Raison sociale "]/following-sibling::td/text()').extract_first(),
            'CA 2015' : response.xpath('//td[@class="tdhead"][text()="Chiffre d\'affaires 2015 "]/following-sibling::td/a/text()').re(r'\n\s+([0-9€ ]+)'),
            'Capital social' : response.xpath('//td[@class="tdhead"][text()="Capital Social "]/following-sibling::td/text()').extract_first(),
            'SIRET': response.xpath('//td[@class="tdhead"][text()="SIRET "]/following-sibling::td/text()').extract_first(),
            'code APE': code_ape,
            'effectif': response.css('script').re(r'=(effectif.+);ca'),
            'dirigeant':
                response.xpath('//table[@class="table table-default dirigeants"]/tr/td[@class="tdhead"]/text()')[
                    0].extract() + " " + response.xpath(
                    '//table[@class="table table-default dirigeants"]/tr/td[@class="tdhead"]/following-sibling::td/a/text()')[
                    0].extract(),

        }

最佳，

Answer 1

感谢您的反馈，我最终选择了try / except方法:)

当indexerror时，Scrapy不输出记录

1 个答案: