页面仅在向下滚动时加载

Question

我需要抓取整个页面的元素，但只有一些元素会加载，直到我向下滚动。反正有没有抵消这个？我可以通过运行滚动到底部函数来解决这个问题，但如果它们是一种更干净的方法，那就更好了。

Answer 1

这是完成此任务的代码。您可以将其直接插入控制台或将其注入爬虫

window.scrollTo(0,document.body.scrollHeight);

您也可以将其包装在setInterval函数中以随时间递增。 这是一个例子：

setInterval(function() { 
document.body.scrollTop = document.body.scrollHeight;
}, 50);

编辑：对不起，我错过了你提问的最后一部分，你提到你知道你可以这样做。你在做什么样的爬虫？这有助于回答你的问题。 看看这个例子： Scroll Automatically to the Bottom of the Page