如何使用Spark中的stat（）查找统计信息

Question

我正在尝试显示Double RDD的stats（）

val stat = x.map(s => s._2).stats()

其中x的类型为RDD [Double]

在spark-shell中，运行正常。

但是在eclipse中运行它并使用sbt进行编译时，会抛出以下错误。

value stats is not a member of org.apache.spark.rdd.RDD[Double]

Answer 1

尝试使用双精度导入RDD的附加功能。

将'import org.apache.spark.SparkContext._`添加到您的源。

当RDD类缺少某些内容时，这是一个常见的“错误”。