标签: web-scraping nightmare
我正在尝试从无限滚动页面获取所有数据。从技术上讲,它不是无限的,但是在滚动时会从页面中添加和删除数据,因此我需要使用滚动和拉动数据的循环,如下所示:
.scrollTo(mainObject.scrollTo, 0) .wait(1000) .evaluate(function(mainObject){...})
这对我的本地计算机来说工作正常,但是当我将其放在heroku上时,滚动部分不再起作用。我认为是因为没有视口时没有显示数据。
这是否只是刮擦的限制,还是有解决办法?