非空跨度重复显示为空

时间:2013-04-08 04:02:25

标签: javascript python web-scraping scrapy html

我正在尝试查看类似于“http://nutritiondata.self.com/facts/snacks/1/1”的页面,出于某种原因,虽然我能够达到我想要阅读的范围,但scrapy会返回一个空的范围。

目前我的xpath代码如下:

hxs = HtmlXPathSelector(response)
calorieSpan = hxs.select("//span[@id='KJ_NUTRIENT_1']/text()").extract()

这会重复返回一个空列表。如果我删除“/ text()”调用,则范围将返回为<span id="KJ_NUTRIENT_1></span>当我转到页面时,此范围存在,但它已填满。关于为什么它在scrapy中显示为空白的任何想法?是否有可能在页面加载时通过javascript加载值?如果是这样我怎么检查?如果是这种情况我可以轻松切换到casperjs,但因为它慢得多,我宁愿不必。

思想?

0 个答案:

没有答案