将并行集合的内容写入文件

时间:2016-11-06 13:43:07

标签: scala apache-spark

所以,基本上我想并行编写并行集合的内容。使用以下代码,它显然不同步。我想要的是拥有与线程完全相同的文件数,以便文件可以并行写入。我怎样才能做到这一点?

我能想到的方法是将并行集合划分为线程数,并将每个部分写入单独的文件中。但我不知道该怎么做。

val parMap = writerMap.par
parMap.tasksupport = new ForkJoinTaskSupport(new scala.concurrent.forkjoin.ForkJoinPool(NT))
parMap.foreach{case (k, content) => write_to_file(k, content)}

0 个答案:

没有答案