Spark leftOuterJoin问题 - leftOuterJoin不是org.apache.spark.rdd.RDD [(String,String)]的成员

时间:2015-09-07 09:35:57

标签: scala apache-spark

我试图为leftOuterJoin编写一个简单的包装器。我这样开始并遇到奇怪的问题,

import org.apache.spark.rdd.RDD
import org.apache.spark.SparkContext._
import org.apache.spark.rdd.PairRDDFunctions
import scala.reflect.ClassTag

case class Joins(self: RDD[(String,String)]) {
        def loj(other: RDD[(String,String)]) = {
        (self.leftOuterJoin(other))
      }
    }
  

错误:值leftOuterJoin不是。的成员   org.apache.spark.rdd.RDD [(String,String)]

我在哪里出错?

1 个答案:

答案 0 :(得分:0)

我认为这只是一个突出显示的错误,所以你可以添加

import org.apache.spark.rdd.RDD._

似乎Spark 1.4.xSparkContext._行为已更改,SparkContext._不再是强制性的,但IDE仍然需要识别正确的类型。