我有一个用Python编写的selenium脚本转到一个站点,并滚动页面以使其加载更多数据,类似于任何社交源。问题是滚动得越多,加载的越多,脚本运行的速度就越慢。这是有道理的,因为DOM越来越大。作为修复,我运行一些看起来像这样的代码:
driver.execute_script('''
var a = document.getElementsByClassName('post_container');
while(a.length > 20){
a[0].remove();
}
''')
所以现在,它可以加载一堆帖子。记录有关这些帖子的一些信息,从DOM中删除这些帖子,然后滚动页面以加载更多帖子。这极大地帮助了我。但是,我仍然注意到在这个脚本运行15分钟左右之后,它仍然显着减速,这意味着DOM操作正在减慢;寻找元素,悬停在元素上,删除元素等等。
关于这可能是什么的任何想法?