saveAsTextFile用于非rdd spark scala

Question

我有这段代码：

def contentSizeStats(rdd: RDD[ApacheAccessLog]) = {
  val contentSizes = rdd.map(x=>x.contentSize).cache()
  val count = contentSizes.count()
   if (count == 0) { null }
   (count, contentSizes.reduce(_+_), contentSizes.min(), contentSizes.max())
}

这个函数的返回值是（Long，String，String，String），我试图使用saveAsTextFile将此函数的结果保存到文本文件中，因为结果不是RDD，所以我不知道如何实现这个？

Answer 1

您可以将返回值转换为RDD，然后在其上调用saveAsTextFile。

val outputRdd = sc.parallelize(outputTuple.productIterator.toArray)
outputRdd.saveAsTextFile(outputDirectory)