Question

我有一个表M，其中有许多列和行，从文本文件中获取：

M <- read.table("text.csv",header=TRUE,sep="\t")

按成功使用的列获取排名：

M <- apply(M,2,rank)

我想加快计算速度，但我没有成功在降雪中实现这个功能。

我试过了：

library(snowfall)
sfStop()
nb.cpus <- 8
sfInit(parallel=TRUE, cpus=nb.cpus, type = "SOCK")
M <- sfClusterApplyLB(M, rank) # does not work
M <- sfClusterApply(M,2,rank) # does not work
M <- sfClusterApplyLB(1:8, rank,M) # does not work

降雪中M <- apply(M,2,rank)相当于什么？

提前感谢您的帮助！

Answer 1

降雪中的apply相当于sfApply。这是一个例子：

library(snowfall)
sfInit(parallel=TRUE, cpus=4, type="SOCK")
M <- data.frame(matrix(rnorm(40000000), 2000000, 20))
r <- sfApply(M, 2, rank)
sfStop()

此示例的运行速度几乎是使用四个内核的Linux机器上的顺序版本的两倍。考虑到rank计算量非常大，这并不算太糟糕。

Answer 2

这是一个有效的例子：

rank_M_df_col_fx=function(i){
  #M<- read.table("text.csv",header=TRUE,sep="\t")
  col_rank=rank(M[,i])
  return(col_rank)
}

M=data.frame(replicate(10,sample(0:100,1000,rep=TRUE)))
n_cols=ncol(M)

library(snowfall)
sfInit(parallel=TRUE) # 
sfExportAll()
rank_results_list=sfLapply(x=c(1:n_cols), fun=rank_M_df_col_fx)
rank_dataframe <- data.frame(matrix(unlist(rank_results_list), nrow=nrow(M), byrow=F))

sfRemoveAll()
sfStop()

然而，已经展示了如何做到这一点，这是一种快速操作，考虑到启动实例的开销等，并行化可能不会产生明显更快的结果。

Answer 3

非常感谢你的帮助！

我最终将Lucas和Steve的解决方案结合起来，为我的问题找到理想的解决方案。

我认为我的代码无法使用M＆lt; - sfClusterApply（M，2，rank），因为缺少sfExportAll（）。

所以最终最简单的解决方案是：

M <- read.table("text.csv",header=TRUE,sep="\t")
n_cols=ncol(M)
nb.cpus <- 4
library(snowfall)
sfStop()
sfInit(parallel=TRUE, cpus=nb.cpus, type = "SOCK") 
sfExportAll()
M <- sfApply(M,2,rank)
sfRemoveAll()
sfStop()

R降雪：平行应用于表格列

3 个答案: