Progammatic浏览性能问题

时间:2016-06-08 11:04:18

标签: java performance selenium selenium-webdriver browsermob

我正在使用Selenium(在Java中)进行程序化浏览(Firefox),为了加快页面加载,我正在浏览在同一个应用程序中运行的编程式Java代理({{3} })以防止加载外部内容(广告等),因为我只需要网站的托管内容。

应用程序正在浏览数十万个页面但不幸的是,几个小时后,速度显着降低(从~5s /页到~30s /页)。

它可以与浏览器缓存大小相关吗?代理缓存?怎么检查? 任何指针或提示都非常受欢迎!

非常感谢, 汤姆

1 个答案:

答案 0 :(得分:2)

您好我会将您的用户代理更改为类似Chrome的内容,以检查Firefox是否存在问题,或者是否在您的应用中进行内存管理。

您是否在多次观看后关闭了浏览器?记得浏览器会缓存并开始占用大量内存。在您的应用程序中使用基于文本的浏览器(Lynx)可能会更好,如果您只需要文本内容,则可以消除大量开销。

Id会频繁地终止进程,因为内存泄漏会导致进程随着时间的推移而减慢。