将参数传递给并行R作业

Question

我正在尝试使用多核包运行并行R作业。每个作业都是使用不同参数执行相同的script.R。

一般的想法是定义一个接受args然后调用source("script.R")的函数。问题是我无法将args传递给script.R。由于我并行运行，因此无法在全局范围内定义args。

欢迎任何帮助。

Answer 1

当运行可能在不同节点/计算机上的并行R实例时，使用外部数据库存储参数可能是一个不错的选择。

我会使用redis非常快且完全accessible in R，并且并行运行其兄弟：doredis。

因此，您可以获取redis服务器（甚至是每个主机上的复制的从属数据库），这些服务器可以获取参数。您甚至可以从R外部立即更新所有工作人员的参数，并且可以通过doredis轻松添加新工作人员。