标签： python selenium selenium-webdriver
我已经成功编写了一段Python / Selenium代码，可以不断加载无限滚动的页面。完整代码位于http://pastebin.com/MaRkAWcg。它将无限滚动页面的整个原始html作为一个大文件加载，然后我用另一段代码解析。显然，如果滚动页面很大（通常是），加载和打印时会出现内存和CPU问题。
那么，有没有人知道以某种方式逐渐加载滚动页面的html，同时将其附加到文件中，同时转储已经从内存中追加的数据？