如何使用Scrapy通过javascript更改获取报废数据?

时间:2014-05-30 09:58:26

标签: javascript python web-scraping scrapy

Javascript隐藏了一些元素但是当我使用scrapy废弃数据时,这些元素被废弃,好像它们没有被Javascript隐藏。


链接1:http://www.limeroad.com/turquoise-sling-ivory-tag-p38444 链接2:http://www.limeroad.com/baby-pink-wallet-eske-p35768#pOverlay=none


例如: 当我使用Scrapy使用xpath(// div [@id =' productDetails'] / ul [@class =' details'] / li [@id =&#]抓取这两个链接时39; add_to_cart_li'] / a [@id =' add_to_cart'] / span [@class =' buy-txt']),我得到了#34;立即购买&# 34;作为两个链接中的文本,即使一个链接不包含"立即购买"文本。这是因为Javascript正在改变显示。 Scrapy不会加载Javascript更改的内容。

1 个答案:

答案 0 :(得分:0)

不确定如何隐藏元素。看到。 What is the difference between visibility:hidden and display:none?

如果您使用xpath提取数据,那么这样的事情(http://www.w3schools.com/css/css_display_visibility.asp)会有所帮助。请注意,传递链接以了解如何将xpath用于可见元素。

希望这有任何帮助。