Question

我已根据我的数据功能生成了我的群集中心，并说“Kmeans.data.txt＆＃39;正如你在

中找到的那样

https://github.com/apache/spark/blob/master/data/mllib/kmeans_data.txt

这是在Spark MLib中使用KMeans进行的。

clusters.clusterCenters.foreach(println)

知道如何预测从这些数据派生的集群吗？

Answer 1

摘自Scala Spark

中检索到的KMean MLlib群集代码段

import org.apache.spark.mllib.clustering.KMeans
import org.apache.spark.mllib.linalg.Vectors

// Load and parse the data
val data = sc.textFile("data/mllib/kmeans_data.txt")
val parsedData = data.map(s => Vectors.dense(s.split(' ').map(_.toDouble)))

// Cluster the data into two classes using KMeans
val numClusters = 2
val numIterations = 20
val clusters = KMeans.train(parsedData, numClusters, numIterations)

// here is what I added to predict data points that are within the clusters
clusters.predict(parsedData).foreach(println)

Answer 2

这很简单，如果你阅读KmeansModel's documentation，你会发现它有两个构造函数，其中一个：

new KMeansModel（clusterCenters：Array [Vector]）

因此，您可以实例化具有KMeans'质心的对象。我在下面给出一个例子。

import org.apache.spark.mllib.clustering.KMeansModel
import org.apache.spark.mllib.linalg.Vectors

val rdd = sc.parallelize(List(
  Vectors.dense(Array(-0.1, 0.0, 0.0)), 
  Vectors.dense(Array(9.0, 9.0, 9.0)), 
  Vectors.dense(Array(3.0, 2.0, 1.0))))

val centroids = Array(
  Vectors.dense(Array(0.0, 0.0, 0.0)), 
  Vectors.dense(Array(0.1, 0.1, 0.1)),
  Vectors.dense(Array(0.2, 0.2, 0.2)),
  Vectors.dense(Array(9.0, 9.0, 9.0)),
  Vectors.dense(Array(9.1, 9.1, 9.1)),
  Vectors.dense(Array(9.2, 9.2, 9.2)))

val model = new KMeansModel(clusterCenters=centroids)

model.predict(rdd).take(10)

// res13: Array[Int] = Array(0, 3, 2)

使用Spark MLlib KMeans从数据预测集群

2 个答案: