如何并行化累加器并将其保存为Spark中的文本文件

Question

我有要模式化的模式累加器，我该怎么做？

val patternsAcc = sc.collectionAccumulator[List[Patern]]("Paterns Accumulator")
...
...
//can't parallelize
val result = sc.parallelize(patternsAcc.value)
//save to file

Answer 1

patternsAcc.value的类型为java.util.List[List[Patern]]，sc.parrallelize()方法不接受。

只需import scala.collection.JavaConversions._，由于scala的隐式转换，您的代码应该可以工作。