Question

我有一个示例文件，其中的数字用空格分隔。我需要找到这些数字的总和。

这是看起来像的文件：

10 20 30 40 50 60 70
1 2 3 4 5 6 7 8 9 10
10 20 30 40 50 60 70

我尝试使用具有数字的文本文件加载文件，然后应用flatmap将数字按空格分割，然后我找不到求和函数来求元素之和。

代码如下：

val rdd=sc.textFile(“/tmp/numbers.txt”)

val numRdd=rdd.flatMap(lines=>lines.split(“ “))

Answer 1

您可以尝试将平面图映射到地图函数，以将其转换为Int，然后在RDD上使用sum（）。

val data = Seq("10 20 30 40 50 60 70 1 2 3 4 5 6 7 8 9 10 10 20 30 40 50 60 70")
val rdd:RDD[String] = sc.parallelize(data)
val dataSplit = rdd.flatMap(x => x.split(" ")).map(x => x.toInt)
val sumData = dataSplit.sum()
println("Total sum "+sumData)

在RDD中查找值的总和

1 个答案: