Scala代码适用于Spark终端,但不适用于eclipse

时间:2014-07-08 06:10:09

标签: eclipse scala apache-spark

当我在Spark Terminal上运行它时,下面的代码工作正常,但在eclipse中它会抛出错误。可能是什么原因。如果您需要更多信息,请与我们联系。

val IABLabels = IAB.zip(标签)
val temp1 = IABLabels.groupBy(x => x._2).mapValues(_. map(_._ 1))

Eclipse中的错误:
value mapValues不是org.apache.spark.rdd.RDD的成员[(Int,Iterable [(String,Int)])]

代码在Spark shell上运行得非常好。

1 个答案:

答案 0 :(得分:7)

您应该使用此导入通过隐式转换访问RDD的(键,值)对上的额外函数:

import org.apache.spark.SparkContext._

您可以查看API文档以获取更多详细信息。