R中插入符号的多核多节点示例

Question

我正在寻找一个多节点+多核实例，用于使用插入符训练模型。我目前使用多核功能并且它工作得很好，但对于需要大量迭代的某些任务，我想知道是否可以利用多节点设置，我可以并行训练所有核心所有节点。因此，如果我有2个节点，每个节点24核，而不是在24核上的单节点上进行训练，我会使用48个核心来训练这两个节点。

是否存在实现此功能的现有功能/必须手动编码，

谢谢，

• 拉吉。

Answer 1

要允许插入符号使用多个节点和多个核心，您需要创建并注册相应的foreach并行后端。您可以通过创建一个通过多次指定相同主机名的每个节点启动多个工作程序的snow集群来使用doSNOW程序包执行此操作。要为每个节点启动24个工作线程，您可以使用：

library(doSNOW)
cl <- makeSOCKcluster(c(rep('node1', 24), rep('node2', 24)))
registerDoSNOW(cl)

makeSOCKcluster函数使用ssh来启动worker，因此您应该设置无密码ssh。这在Windows上可能很难（不可能？），但它通常在Linux和Mac OS X上完成。如果您使用的是Linux集群，最好使用makeMPIcluster。