Question

我正在使用scrapy工具从网站上删除内容，我需要你们的帮助，如何废弃从ajax动态加载的响应。

当来自ajax的内容加载时，url没有改变它保持不变，但内容会改变，所以我需要抓取该事件。

谢谢你， G.kavirajan

Answer 1

yield FormRequest('http://addons.prestashop.com/en/modules/featureproduct/ajax-homefeatured.php',
        formdata={'type':'new','ajax':'1'},
        callback=self.your_callback_method)

Answer 2

下面是您可以使用fiddler或firebug

轻松捕获的网址

这是针对精选标签http://addons.prestashop.com/en/modules/featureproduct/ajax-homefeatured.php?ajax=1&type=random

这是针对新标签http://addons.prestashop.com/en/modules/featureproduct/ajax-homefeatured.php?ajax=1&type=new

您可以直接请求这些网址获取您需要的结果，尽管网站使用 POST 请求获取这些网址的数据，但我尝试使用参数 GET 请求也正常工作

废弃将从ajax事件加载的响应

2 个答案: