我的脚本运行一个名为load的进程,完成时间超过30秒。 与代理的连接意味着每次运行过程都需要不同的时间才能完成。
我需要我的代码看起来像这样
while running == true:
if not 25 multiprocesses running:
start enough processes to reach 25 running
这是我的代码现在的样子,它只是启动10个进程然后作为测试结束:
import random, time
from selenium import webdriver
from selenium.webdriver.common.proxy import *
from fake_useragent import UserAgent
import multiprocessing
def load():
proxy = "falcon.proxyrotator.com:8080"
profile = webdriver.ChromeOptions()
profile.add_argument('headless')
profile.add_argument('--proxy-server=http://%s' % proxy)
profile.add_argument('--user-agent=' + UserAgent().random)
driver = webdriver.Chrome(chrome_options=profile)
driver.get('https://ipchicken.com')
print ('done')
time.sleep(30)
driver.quit()
if __name__ == '__main__':
for i in range(10):
time.sleep(7)
print ('start')
P = multiprocessing.Process(target=load)
P.start()