Question

所以我试图在spark-shell中实现一个简单的机器学习代码，当我试图给出一个csv文件时，它需要一个libsvm格式，所以我使用phraug库来转换我的数据集进入所需的格式。虽然这有效，但我还需要规范化我的数据，因此我使用Standard Scaler来转换数据。这也很好，下一步是训练机器，为此我使用了SVMWithSGD模型。但是当我试图训练时，我一直得到错误

    error: type mismatch;
    found: org.apache.spark.rdd.RDD[(Double,org.apache.spark.mllib.linalg.Vector)]
    required: org.apache.spark.rdd.RDD[org.apache.spark.mllib.regression.LabeledPoint]

据我所知，这是一个兼容性问题，可以使用Vector.dense函数，但我不想再拆分它，我不明白的是，是不是有一个直接的方法，所以我可以用它作为火车方法吗？附：为了帮助您了解当前的数据，

    (0.0,[0.03376345160534202,-0.6339809012492886,-6.719697792783955,-6.719697792783965,-6.30231507117855,-8.72828614492483,0.03884804438718658,0.3041969425433718])
    (0.0,[0.2535328275090413,-0.8780294632355746,-6.719697792783955,-6.719697792783965,-6.30231507117855,-8.72828614492483,0.26407233411369857,0.3041969425433718])

Answer 1

假设您的RDD[Double, Vector]被称为vectorRDD：

val labeledPointRDD = vectorRDD map { 
  case (label, vector) => LabeledPoint(label, vector) 
}

如何转换linalg.Vector至regression.Labeledpoint格式？

1 个答案: