使用Scrapy从AJAX请求中检索数据

时间:2017-10-03 22:51:39

标签: javascript php ajax web-scraping scrapy

所以我有一个产品页面,我看到只有在点击产品时才会生成几种不同的产品。我看到动态内容正在网络控制台的XHR选项卡中加载,我点击的每个项目都有一个GET请求。

有没有办法选择该页面上的每个产品并像平常一样抓取特定数据?我曾尝试抓取那些​​不能轻易使用AJAX的网站,但我在这里很难过。我打算按顺序搜索产品,但是当我转到标题并查看请求URL时,我注意到每个产品的商品代码都没有按顺序排列。例如,页面上的第一项产品代码为46837,然后它下面的产品代码为68392.或者我应该使用selenium或splash来捕获这些AJAX调用?

谢谢!

0 个答案:

没有答案