将标题添加到RDD [string] spark scala

时间:2017-06-08 07:50:39

标签: scala apache-spark apache-spark-mllib

大家好我有一个RDD [string],我想在将它保存到文本文件之前添加一个标题,这里是我做的代码

val projectionsTxt = rowMatrix.rows.map(l => l.toString.filter(c => c != '[' & c != ']'))
      val res = projectionsTxt.map(p => {
        var tokens = p.split(",")

        for (i <- 0 to tokens.length - 1) {

          tokens(i) = (BigDecimal(tokens(i)).setScale(2, BigDecimal.RoundingMode.HALF_UP).toDouble).toString()

        }
        tokens.mkString(",")

      })
      val header: RDD[String] = sc.parallelize(Array("col1","col2","col3"))

   header.union(res).saveAsTextFile(strFilePath)

任何帮助,请我无法完成任务。 我想获取数据及其标题。谢谢

1 个答案:

答案 0 :(得分:0)

尝试:val header: RDD[String] = sc.parallelize(Array("col1,col2,col3"))
列List必须与String(=一行)匹配。你有一个RDD [String]。 所以你必须声明一个字符串&#39; String&#39;元件。