使用噩梦从无限滚动页面获取数据

时间:2018-06-26 17:27:39

标签: web-scraping nightmare

我正在尝试从无限滚动页面获取所有数据。从技术上讲,它不是无限的,但是在滚动时会从页面中添加和删除数据,因此我需要使用滚动和拉动数据的循环,如下所示:

.scrollTo(mainObject.scrollTo, 0)
.wait(1000)
.evaluate(function(mainObject){...})

这对我的本地计算机来说工作正常,但是当我将其放在heroku上时,滚动部分不再起作用。我认为是因为没有视口时没有显示数据。

这是否只是刮擦的限制,还是有解决办法?

0 个答案:

没有答案