我正在使用Python,Selenium和多线程运行Chrome无头,以便打开多个Chrome实例。
似乎我在StackOverflow上遇到与其他人相同的问题,但与网站上的处理方式有所不同(现在:Chrome无法访问)
selenium.common.exceptions.WebDriverException: Message: session not created exception
from chrome not reachable
(Session info: headless chrome=60.0.3112.113)
问题是此错误随机弹出并停止执行脚本。
编辑:这是代码的主要部分,我多线程化了一个名为scrape
的函数,当然,它是一个刮刀。
for chunk in chunks(LIST, 50):
pool = ThreadPool(max_number_of_browsers)
records = pool.map(scrape, chunk)
pool.terminate()
pool.join()
chunks(list, chunk_size)
是一个将较大的列表分成指定大小的块的函数。
max_number_of_browsers
是我指定使用的线程数。