Question

我正在使用scrapy-splash爬网此网站，并且蜘蛛程序给出了“ [twisted]严重：Deferred中未处理的错误：”

尝试了堆栈溢出和其他网站上的所有内容

我的蜘蛛的密码

ZeroDivisionError

Answer 1

您生成的是集合，而不是字典。您可以尝试制作字典吗？

您无法创建集合，因为您无法将列表添加到集合中。

尝试这样的方法：

def parse(self, response):
        for phone in response.xpath('//div'):
            yield {
            'Name': phone.xpath('.//*[contains(concat( " ", @class, " " ), concat( " ", "c16H9d", " " ))]//a').extract(),
            'price': phone.xpath('.//*[contains(concat( " ", @class, " " ), concat( " ", "c13VH6", " " ))]').extract(),
        }

您可能还需要添加启动请求：

yield SplashRequest(url=url, callback=self.parse, 
     endpoint='render.html', args={'wait': 0.5})

扭曲严重：延期中未处理的错误：

1 个答案: