我有一台31 CPU的计算机可用于并行计算。我想创建一个单一的31节点集群,然后将其用于并行计算多个不同的R进程。该怎么办?
我目前正以这种方式使用makeCluster
:
cl <- makeCluster(5)
registerDoParallel(cl)
,但这仅适用于当前的R进程。如何连接到以其他R进程创建的集群?
PS:之所以要多个进程访问一个集群,是因为我要不断添加新的计算集,这些计算集将在队列中等待正在运行的进程完成。我希望它能这样工作吗?过去,我曾为此使用doRedis
,但存在一些问题,我想为此目的使用一个简单的集群。