问题:
我正在使用scrapy splash来刮网页。但是,Friend
的css路径似乎没有返回任何元素,但imageURL
和name
的css路径工作正常。 (xpath和选择器都是直接从Chrome复制的。)
我试过的事情:
起初我认为这是因为当category
被调用时页面还没有完全加载所以我将SplashRequest的parse
参数更改为5,但它没有帮助。我还从splash GUI(http://localhost:8050)下载了html响应的副本,并验证了xpath /选择器在下载的副本上都运行良好。在这里,我假设这个html正是scrapy在wait
中看到的,所以我无法弄清楚为什么它不会在scrapy脚本中工作。
代码:
这是我的代码:
parse
答案 0 :(得分:0)
他们可能会使用不同的格式,但对我而言(最后是source::attr(srcset)
):
imageURL = response.css('#PDP > div > div:nth-child(2) > div.css-1jldkv2 > div:nth-child(1) > div > div > div.d-lg-h.bg-white.react-carousel > div > div.slider-container.horizontal.react-carousel-slides > ul > li.slide.selected > div > picture:nth-child(3) > source::attr(srcset)').extract_first()