假设您有一个Play商店评论页面,其中有数百人定期评论。我的想法是不仅要在同一页面上,还要在滚动时从Play商店评论页面中获取数据。 所以应该 评论页面中的所有数据 谁对此发表了评论? 他是否给出任何评分。 包括他/她的照片。
如何解决此问题以及可以使用哪些工具? 分享所有链接,在这里我可以阅读更多有关此类问题陈述的信息。
答案 0 :(得分:0)
我将scrapy
与对ajax URL的循环请求一起使用。终止循环的逻辑可以通过几种方法来处理,具体取决于可用的数据。
How to scrape all contents from infinite scroll website? scrapy
Scraping Infinite Scrolling Pages with "load more" button using Scrapy