我试图为leftOuterJoin编写一个简单的包装器。我这样开始并遇到奇怪的问题,
import org.apache.spark.rdd.RDD
import org.apache.spark.SparkContext._
import org.apache.spark.rdd.PairRDDFunctions
import scala.reflect.ClassTag
case class Joins(self: RDD[(String,String)]) {
def loj(other: RDD[(String,String)]) = {
(self.leftOuterJoin(other))
}
}
错误:值leftOuterJoin不是。的成员 org.apache.spark.rdd.RDD [(String,String)]
我在哪里出错?
答案 0 :(得分:0)
我认为这只是一个突出显示的错误,所以你可以添加
import org.apache.spark.rdd.RDD._
似乎Spark 1.4.x的SparkContext._
行为已更改,SparkContext._
不再是强制性的,但IDE仍然需要识别正确的类型。