如何使用scrapy xpath获取数据

时间:2015-12-11 12:32:05

标签: xpath web-scraping scrapy

您好我试图获取用户的数据,但我无法得到这些东西。

网址:http://www.tripadvisor.in/Restaurant_Review-g34515-d3785272-Reviews-or220-Kings_Orlando-Orlando_Florida.html

我试图立即获得第一个评论家姓名,这是" LeLolita"

但是我从Q& A部分获得了用户名,即" Kayal"。

我的shell脚本是

 sel.xpath('//div[@class="username mo"]/span/text()').extract()[0]

1 个答案:

答案 0 :(得分:1)

在该网站上,评论信息不会与您通过的网址的请求一起发送,而是发送给http://www.tripadvisor.in/UserReviewController?someparams等网址的请求。

我建议您使用chrome开发者控制台或firebug(在firefox上)检查请求的工作方式,然后您可以看到访问网址不仅仅是提出请求。

另一种解决方案是使用selenium加载所有网站信息,其工作方式类似于浏览器。