如何获取数据以从任何URL页面抓取评论

时间:2019-04-01 11:38:58

标签: python web-scraping scrapy web-crawler

假设您有一个Play商店评论页面,其中有数百人定期评论。我的想法是不仅要在同一页面上,还要在滚动时从Play商店评论页面中获取数据。 所以应该 评论页面中的所有数据 谁对此发表了评论? 他是否给出任何评分。 包括他/她的照片。

如何解决此问题以及可以使用哪些工具? 分享所有链接,在这里我可以阅读更多有关此类问题陈述的信息。

1 个答案:

答案 0 :(得分:0)

我将scrapy与对ajax URL的循环请求一起使用。终止循环的逻辑可以通过几种方法来处理,具体取决于可用的数据。

  1. 如果每个响应列表的预期长度为N条评论,而您收到的响应少于N条评论,请中断
  2. 如果有可用的总注释值,则翻页直到请求的页面数等于注释总数除以每页的注释数。
  3. 存在其他解决方案

How to scrape all contents from infinite scroll website? scrapy

Scraping Infinite Scrolling Pages with "load more" button using Scrapy

https://stackoverflow.com/search?q=scrapy+infinite+scroll