如何在scala中将数据拆分为RDD [(String,Array [String])]?

时间:2015-09-18 09:48:35

标签: scala apache-spark

我的示例代码是:

val labledPoints = RDD[Array[String]].mapPartitions(
       iter => {
          iter.map(row => {
             val label = row(classIndex)
             val features = row.take(classIndex) ++ row.drop(classIndex + 1)
            (label, features)
            })
      })

我想以这种格式从classindex中分割数据,但是我的代码需要时间来处理大数据。有没有其他方法可以找到它?

0 个答案:

没有答案