Question

我有一个2d的整数列表，我想将它转换为RDD [vector]或JavaRDD [vector]，以便在spark MLlib中使用SVM模型的预测方法。我尝试了以下内容，以便将其转换为rdd。但似乎这不是我需要的。

 val tuppleSlides = encoded.iterator.sliding(10).toList
 val rdd = sc.parallelize(tuppleSlides)

任何想法是什么命令将其转换为正确的类型？

提前谢谢。

Answer 1

如果您想使用MLlib，则需要RDD[LabeledPoint]。根据您的2D数据列表和一些标签列表，您可以像这样创建RDD[LabeledPoint]：

scala> val labels = List(1.0, -1.0)
labels: List[Double] = List(1.0, -1.0)

scala> val myData = List(List(1d,2d), List(3d,4d))
myData: List[List[Double]] = List(List(1.0, 2.0), List(3.0, 4.0))

scala> import org.apache.spark.ml.linalg.Vectors
import org.apache.spark.ml.linalg.Vectors

scala> import org.apache.spark.ml.feature.LabeledPoint
import org.apache.spark.ml.feature.LabeledPoint

scala> val vectors = myData.map(x => Vectors.dense(x.toArray))
vectors: List[org.apache.spark.ml.linalg.Vector] = List([1.0,2.0], [3.0,4.0])

scala> val labPts = labels.zip(vectors).map{case (l, fV) => LabeledPoint(l, fV)}
labPts: List[org.apache.spark.ml.feature.LabeledPoint] = List((1.0,[1.0,2.0]), (-1.0,[3.0,4.0]))

scala> val myRDD = sc.parallelize(labPts)
myRDD: org.apache.spark.rdd.RDD[org.apache.spark.ml.feature.LabeledPoint] = ParallelCollectionRDD[0] at parallelize at <console>:34

将2d列表转换为RDD [vector]或JavaRDD [vector] scala

1 个答案: