使用Spark从CSV获取标头的最佳解决方案

Question

我想知道从Spark文件中获取标题的最佳解决方案是什么？我的方法是：

def getHeader(data: RDD[String]): String = { data.zipWithIndex().filter(_._2==0).map(x=>x._1).take(1).mkString("") } 感谢。

Answer 1

您只需要获取RDD的第一个元素。

val header = rdd.take(1)