Question

我试图了解如何使用R并行化我的一些代码。因此，在下面的示例中，我想使用k-means使用2,3,4,5,6中心对数据进行聚类，同时使用20次迭代。这是代码：

library(parallel)
library(BLR)

data(wheat)

parallel.function <- function(i) {
    kmeans( X[1:100,100], centers=?? , nstart=i )
}

out <- mclapply( c(5, 5, 5, 5), FUN=parallel.function )

我们如何同时并行迭代和中心？如何跟踪输出，假设我想保留所有，迭代和中心的k-means的所有输出，只是为了学习如何？

Answer 1

起初这看起来很简单......然后我试了一下。在我午休期间经过大量的猴子打字和脸部手掌之后，我到达了这里：

library(parallel)
library(BLR)

data(wheat)

mc = mclapply(2:6, function(x,centers)kmeans(x, centers), x=X)

看起来虽然我没有检查聚类是多么明智。

> summary(mc)
     Length Class  Mode
[1,] 9      kmeans list
[2,] 9      kmeans list
[3,] 9      kmeans list
[4,] 9      kmeans list
[5,] 9      kmeans list

在反思中，命令语法似乎是明智的 - 虽然许多其他失败的东西似乎也是合理的......帮助文档中的示例可能不是很好。

希望它有所帮助。

修改这里要求的是两个变量nstart和centers

(pars = expand.grid(i=1:3, cent=2:4)) i cent 1 1 2 2 2 2 3 3 2 4 1 3 5 2 3 6 3 3 7 1 4 8 2 4 9 3 4 L=list() # zikes horrible pars2=apply(pars,1,append, L) mc = mclapply(pars2, function(x,pars)kmeans(x, centers=pars$cent,nstart=pars$i ), x=X) > summary(mc) Length Class Mode [1,] 9 kmeans list [2,] 9 kmeans list [3,] 9 kmeans list [4,] 9 kmeans list [5,] 9 kmeans list [6,] 9 kmeans list [7,] 9 kmeans list [8,] 9 kmeans list [9,] 9 means list

你觉得苹果怎么样？

Answer 2

您可以使用parallel来尝试来自多个核心上不同随机起点的K-Means。

以下代码就是一个例子。（K = K表示K均值，N =随机起始点数，C =您想要使用的核心数）

suppressMessages( library("Matrix") )
suppressMessages( library("irlba") )
suppressMessages( library("stats") )
suppressMessages( library("cluster") )
suppressMessages( library("fpc") )
suppressMessages( library("parallel") )

#Calculate KMeans results
calcKMeans <- function(matrix, K, N, C){
  #Parallel running from various of random starting points (Using C cores)
  results <- mclapply(rep(N %/% C, C), FUN=function(nstart) kmeans(matrix, K, iter.max=15, nstart=nstart), mc.cores=C);
  #Find the solution with smallest total within sum of square error
  tmp <- sapply(results, function(r){r[['tot.withinss']]})
  km <- results[[which.min(tmp)]]  
  #return cluster, centers, totss, withinss, tot.withinss, betweenss, size
  return(km)
}

runKMeans <- function(fin_uf, K, N, C, 
                      #fout_center, fout_label, fout_size, 
                      fin_record=NULL, fout_prediction=NULL){
  uf = read.table(fin_uf)
  km = calcKMeans(uf, K, N, C)
  rm(uf)
  #write.table(km$cluster, file=fout_label, row.names=FALSE, col.names=FALSE)
  #write.table(km$center, file=fout_center, row.names=FALSE, col.names=FALSE)
  #write.table(km$size, file=fout_size, row.names=FALSE, col.names=FALSE)
  str(km)

  return(km$center)
}

希望它有所帮助！

Answer 3

有一个名为knor的CRAN包，它源自research paper，它使用Elkan修剪算法的内存有效变体来提高性能。它比这些答案中的所有内容都要快一个数量级。

install.packages("knor")
require(knor)
iris.mat <- as.matrix(iris[,1:4])
k <- length(unique(iris[, dim(iris)[2]])) # Number of unique classes
nthread <- 4
kms <- Kmeans(iris.mat, k, nthread=nthread)

R中的并行k均值

3 个答案: