Scrapy splash无法找到元素

时间:2018-05-26 23:29:39

标签: web-scraping scrapy scrapy-splash splash-js-render

问题:

我正在使用scrapy splash来刮网页。但是,Friend的css路径似乎没有返回任何元素,但imageURLname的css路径工作正常。 (xpath和选择器都是直接从Chrome复制的。)

我试过的事情:

起初我认为这是因为当category被调用时页面还没有完全加载所以我将SplashRequest的parse参数更改为5,但它没有帮助。我还从splash GUI(http://localhost:8050)下载了html响应的副本,并验证了xpath /选择器在下载的副本上都运行良好。在这里,我假设这个html正是scrapy在wait中看到的,所以我无法弄清楚为什么它不会在scrapy脚本中工作。

代码:

这是我的代码:

parse

1 个答案:

答案 0 :(得分:0)

他们可能会使用不同的格式,但对我而言(最后是source::attr(srcset)):

imageURL = response.css('#PDP > div > div:nth-child(2) > div.css-1jldkv2 > div:nth-child(1) > div > div > div.d-lg-h.bg-white.react-carousel > div > div.slider-container.horizontal.react-carousel-slides > ul > li.slide.selected > div > picture:nth-child(3) > source::attr(srcset)').extract_first()