我正在寻找一个Spark程序,它添加了现有Integer ArrayList的元素。我经历了apache spark中的所有转换和操作,但找不到合适的添加元素。
如果有人可以告诉我如何编写上面的代码,即在spark中添加arraylist的元素,那么它会很棒。
感谢。
答案 0 :(得分:2)
如果您有RDD [Int],如下所示:
val myRdd = sc.parallelize(Seq(1,2,3,4,5,6))
您可以执行以下操作来添加列表的元素:
myRdd.reduce(_+_)
res1: Int = 21
或者您也可以执行以下操作:
myRdd.fold(0)(_+_)
res6: Int = 21
希望它有所帮助。