R作业排队/工作负载管理

时间:2011-05-18 13:26:18

标签: r job-scheduling queuing workload

我花了一些时间在Google上寻找R的排队/负载均衡器包。

我想要实现的目标:

  • 从远程前端执行多个独立R功能的独立
  • 利用2个双核服务器作为R后端

知道:

  • 每个功能通常在10到30秒内处理
  • 平均每5分钟(但可以同时)将要执行的一组8-15个函数发送到后端(排队等待处理:先进先出)。 5分钟是平均值,同时也可以同时发送几组
  • 2x2 R实例已经在运行,加载了所需的包,它们总是相同的,所以不需要一直重新加载它们
  • 传输的数据输入量非常低:最大50k

此处没有代码并行化主题(雪,降雪foreach,秃鹰和其他传统群集解决方案)

你知道为R设计的一个好的软件包/工具吗?

非常感谢!

1 个答案:

答案 0 :(得分:2)

这听起来像是使用RApache的合理上下文,它可以实例化几个R实例和必要的包。