使用RSelenium刮取无限滚动网站

Question

我目前正在抓捕一个网站，其中的一部分内容仅在向下滚动时才可用。我已经弄清楚了如何使用RSelenium进行滚动，但是不幸的是，对于该特定网站，当我仅使用

时内容不会显示

webElem <- remDr$findElement("css", "body")
webElem$sendKeysToElement(list(key = "end"))

相反，我目前正在使用for循环来略微向下滚动。

webElem <- remDr$findElement("css", "body")
for (i in 1:1000){
  webElem$sendKeysToElement(list(key = "down_arrow"))
}

显然，这是非常低效的，特别是对于那些短得多且不需要那么多命令的网站。

因此，我正在寻找一种解决方案，该解决方案可以更优雅地解决此问题，或者允许我在页面不再扩展后以某种方式打破循环。

感谢您的帮助！