spark RDD的通用映射方法没有编译

时间:2016-05-25 02:34:51

标签: scala apache-spark rdd

我无法弄清楚为什么不编译:

N

它会出现此错误:case

有谁知道它在抱怨什么?

1 个答案:

答案 0 :(得分:4)

如果编译器要求ClassTag,则很可能是您需要的。此外,SparkContext也可以从现有的RDD轻松检索。

import scala.reflect.ClassTag

implicit class debugHelper[T](ar: RDD[T])(implicit val t: ClassTag[T]) {
  def debug_restrainer: RDD[T] = {
    if (debug_size.isDefined)
       ar.sparkContext.parallelize(ar.take(debug_size.get))
    else ar
  }
}