如何从flipkart评论页面获取正确的选择器以进行网页抓取?

时间:2016-11-10 12:54:22

标签: python xpath web-scraping scrapy selector

评论在选择器中有多个类“row _3wYu6I _3BRC7L”。 但是在抓取时,响应没有上面的选择器,而是有“row _3wYu6I _1KVtzT”选择器。这个选择器有空列表。实际上,flipkart页面Flipkart page中值为“_3BRC7L”的所有类都被转换为类值得“_1KVtzT”作为回应,我通过刮刮。 The list of elements that I get when using xpath of the parent class。我该如何解决这个问题?

2 个答案:

答案 0 :(得分:1)

flipkart页面通过ajax请求生成动态内容。这就是我无法获得正确的类选择器的原因。现在,我按照以下答案的说明更改了我的代码:To retrieve data through ajax requests。 这对我来说非常有帮助和简单,因为我是新手,我不需要使用scrapy或casperjs。

答案 1 :(得分:0)

使用xpath,您可以获得包含某个类的div,该类包含一个包含值审核的id的段落。

这个选择器是一个非常好的开始,你可以从这里构建任何选择器进行审查。

//div[.//p[contains(@id, 'review')]][@class='col']