我正在尝试为某些内容抓一个（很长的）网页 我正在使用Python的BeatifulSoup库，但不限于Python。我面临的问题是页面只加载了一小部分内容，一旦用户滚动到页面的顶部/底部，就会加载更多内容。
当滚动条点击顶部/底部时会调用一个javascript函数，触发服务器加载更多数据。有没有办法让我以编程方式滚动页面，或调用获取页面以加载更多数据的函数，所以我有所有可用的内容？ 我知道我可以使用VBScript控制窗口和滚动，但理想情况下我正在寻找一个更优雅的解决方案，允许我提取数据并同时滚动页面。