Question

我正在尝试最大化我可以在我的计算机上运行脚本的浏览器数量。当我启动webdriver时，我如何计算每个Chrome或Firefox进程占用的内存量。例如：

from selenium import webdriver
driver = webdriver.Chrome()
driver.get('www.yahoo.com')

# - or - #

from selenium import webdriver
driver = webdriver.Firefox()
driver.get('www.yahoo.com')

Answer 1

实例化webdriver.Chrome或webdriver.Firefox至少产生一个其他过程，以便估计它可能的总内存消耗最容易测量启动之前和之后可用的总系统内存流程。如何查找使用的总内存取决于您的操作系统; psutils module支持Linux，Windows，OSX， FreeBSD和Sun Solaris。

import os
import multiprocessing as mp
import contextlib
import time
import selenium.webdriver as webdriver
import selenium.webdriver.support.ui as UI
import selenium.webdriver.support.expected_conditions as EC
import psutil

def worker(browsername, args, N):
    start_mem = psutil.virtual_memory()
    Driver = getattr(webdriver, browsername)
    drivers = [Driver(*args) for i in range(N)]
    end_mem = psutil.virtual_memory()
    for driver in drivers:
        driver.quit()
    return end_mem.used - start_mem.used

if __name__ == '__main__':
    N = 10
    pool = mp.Pool(1)

    for driver, args in [('Firefox', ()),
                         ('Chrome', ()), 
                         ('PhantomJS', ('phantomjs',))]:
        used = pool.apply(worker, [driver, args, N])
        print('{:>10}: {}'.format(driver, used))
        time.sleep(5)

    pool.close()
    pool.join()

产量

   Firefox: 1072779264
    Chrome: 1124683776
 PhantomJS: 102670336

所以看来PhantomJS使用的内存减少了约10倍。

技术说明：没有可靠的方法可以强制Python进程放弃已使用回到操作系统 short of terminating the process的内存。所以我使用多处理在一个单独的进程中生成每个测试，所以当它终止时，释放使用的内存。 pool.apply()阻止worker结束。

在webdriver中对Firefox与Chrome的内存消耗进行基准测试

1 个答案: