Question

我正在使用scala创建一个RDD，但当我试图看到RDD的内容时，我的结果低于结果

MapPartitionsRDD[25] at map at <console>:96

我想看看RDD的内容我怎么能看到它？

下面是我的scala代码：

 object WordCount {
   def main(args: Array[String]): Unit = {
     val textfile = sc.textFile("/user/cloudera/xxx/File")
     val word = textfile.filter(x => x.length >  0).map(_.split('|'))
     println(word)
   }
}

Answer 1

您需要提供output transformation (action)。例如使用RDD.collect：

object WordCount {
   def main(args: Array[String]): Unit = {
     val textfile = sc.textFile("/user/cloudera/xxx/File")
     val word = textfile.filter(x => x.length >  0).map(_.split('|'))
     word.collect().foreach(println)
   }
}

如果您有Array[Array[T]]，则在使用flatten之前，您需要foreach：

word.collect().flatten.foreach(println)

无法查看RDD内容

1 个答案: