Scrapy调用javascript函数

时间:2013-03-28 15:54:17

标签: javascript scrapy web-crawler

我正在使用scrapy抓取此网站:http://egypuppy.com/e-store.php?fl=1

在右侧的下拉菜单中,我可以选择一个品种来查看狗,这是下拉菜单中其中一个li元素的示例:

  

HREF = “JavaScript的:getDogForSale( '0', '1'); setBreedName( '购买affenpinscher');”   id =“no-image”

有没有办法用scrapy调用这个JS函数?

1 个答案:

答案 0 :(得分:0)

Scrapy本身并不支持渲染JavaScript,所以你需要推出自己的解决方案,但是这项工作涉及多个Reactors,这不是由胆小的人编写的。

以下是一些集成选项: