Javascript隐藏了一些元素但是当我使用scrapy废弃数据时,这些元素被废弃,好像它们没有被Javascript隐藏。
链接1:http://www.limeroad.com/turquoise-sling-ivory-tag-p38444 链接2:http://www.limeroad.com/baby-pink-wallet-eske-p35768#pOverlay=none
例如: 当我使用Scrapy使用xpath(// div [@id =' productDetails'] / ul [@class =' details'] / li [@id =&#]抓取这两个链接时39; add_to_cart_li'] / a [@id =' add_to_cart'] / span [@class =' buy-txt']),我得到了#34;立即购买&# 34;作为两个链接中的文本,即使一个链接不包含"立即购买"文本。这是因为Javascript正在改变显示。 Scrapy不会加载Javascript更改的内容。
答案 0 :(得分:0)
不确定如何隐藏元素。看到。 What is the difference between visibility:hidden and display:none?
如果您使用xpath提取数据,那么这样的事情(http://www.w3schools.com/css/css_display_visibility.asp)会有所帮助。请注意,传递链接以了解如何将xpath用于可见元素。
希望这有任何帮助。