我得到了这个for
循环,其中包含大量网址:
//Before
public void testScrapjv() throws Exception {
List<String> urlList = BIG_LIST_OF_URLS
for (String url : urlList) {
driver.get(url);
//scraping code
}
我正在寻找一种方法来并行化这个for
循环,以便加快从列表中访问和抓取evey网站的过程。
我可以将我的列表拆分为4,然后手动运行4个程序实例,但我不喜欢手动操作的想法。有人会对如何做到这一点有一个想法,解决方案当然可能涉及shell脚本(我在该域中没有技能)但在java代码中执行它会更好。
我读到我可以使用selenium-grid但我不知道它是什么,网站似乎没有工作(http://selenium-grid.seleniumhq.org/),也许有人会有一些提示。
答案 0 :(得分:0)
将urlList
拆分为否。您想要的实例(这必须手动完成,因为网址存储在一个列表中)
并使用TestNG框架并行运行它。
parallel='tests'
这将并行运行您的实例。