python中的Selenium多线程处理:一次不能抓取三个以上的URL

时间:2018-07-04 06:12:12

标签: python multithreading selenium web-scraping

我尝试使用pyhton中的硒多线程打开9个浏览器窗口来刮取网站。但是9次尝试中只有3次给出了已抓取的数据,其他尝试给出了空文件。为什么会这样呢?我的cpu_count是4。这是否意味着我一次只能运行三个浏览器窗口?

0 个答案:

没有答案