带有Chromedriver的Asyncio Selenium因多个线程而失败

时间:2020-07-24 13:00:54

标签: python selenium selenium-chromedriver python-asyncio

背景:为了获取复杂的网站内容,我使用selenium包(版本3.141),将chromedriver(版本84.0.4147.89)放在{{ 1}}模式,在python(3.8+)上。为了提高性能,使用了headless软件包,其中asyncio调用被包装在get()中。机器是macbook pro 2018 concurrent.futures.ThreadPoolExcecutor

问题:对于少量线程,性能是预期的,即2.9 GHz 6-Core Intel Core i9线程将同时加载4个网站的内容而不会出现问题。但是,随着线程数的增加(例如> = 8),查询完全相同的网站的超时比率将急剧增加。

问题max=4是否具有内部策略来防止“真实”多个selenium/chromedriver实例?还是还有其他我没有完全掌握的事情?

0 个答案:

没有答案