背景:为了获取复杂的网站内容,我使用selenium
包(版本3.141),将chromedriver
(版本84.0.4147.89)放在{{ 1}}模式,在python(3.8+)上。为了提高性能,使用了headless
软件包,其中asyncio
调用被包装在get()
中。机器是macbook pro 2018 concurrent.futures.ThreadPoolExcecutor
。
问题:对于少量线程,性能是预期的,即2.9 GHz 6-Core Intel Core i9
线程将同时加载4个网站的内容而不会出现问题。但是,随着线程数的增加(例如> = 8),查询完全相同的网站的超时比率将急剧增加。
问题:max=4
是否具有内部策略来防止“真实”多个selenium/chromedriver
实例?还是还有其他我没有完全掌握的事情?