在使用python滚动时刮取动态呈现的网页替换内容

Question

这是一个冗长的问题，但基本上我正在寻找一种方法/一些技巧，从网站上抓取数据，在滚动时动态加载内容。

当我向下滚动时，此特定网站会删除内容。从本质上讲，当它不再可见时，它不再存在于DOM中，而且我无法从中获取任何东西。

目前我正在使用Selenium尝试到某个地方，但无济于事。我不知道从哪里开始这样的事情。

我正在考虑滚动到顶部div被隐藏，刮擦，然后冲洗并一直向下重复的点。我根本不认为这是有效的，而且肯定有更好的方法。