可以预先选择性地同时使用多个后端(doParallel和doRedis)吗?

时间:2016-08-03 17:47:46

标签: r parallel-foreach doparallel r-doredis

我正在处理大小约为1 Gb的文件。处理可以分为两个步骤,一个取决于大文件,另一个取决于较少量的数据。我可以为doParallel后端排队一些foreach命令,同时使用doRedis后端排队其他foreach命令吗?

foreach() %dopar:doParallel% {
    foreach() %dopar:doRedis% {}
}

此处的目标是由于内存和网络IO限制而使远程作业保持较小,同时还利用我用于预处理/后处理的多个本地核心。

0 个答案:

没有答案