标签: r parallel-foreach doparallel r-doredis
我正在处理大小约为1 Gb的文件。处理可以分为两个步骤,一个取决于大文件,另一个取决于较少量的数据。我可以为doParallel后端排队一些foreach命令,同时使用doRedis后端排队其他foreach命令吗?
foreach() %dopar:doParallel% { foreach() %dopar:doRedis% {} }
此处的目标是由于内存和网络IO限制而使远程作业保持较小,同时还利用我用于预处理/后处理的多个本地核心。