监视进度/调试并行R脚本

Question

在快速并行化简单代码（snowfall，foreach和so on）的选择中，有哪些选项可以显示所有从属进程的进度？这方面的任何产品都表现出色吗？

我已经看到降雪1.70有sfCat()，但它似乎没有输出到主R会话。

Answer 1

这就是它可以变成黑色艺术的地方......我注意到你没有列出MPI或PVM - 那些并行计算的旧主力确实有显示器。您可以通过走出R并依靠作业调度程序（slurm，扭矩......）找到解决方案

如果你不能这样做（嘿，有理由我们喜欢简单的雪，foreach，......）那么也许你可以改变你的工作，每N步记录一次'心跳'或进度信息。您可以登录到文本文件（如果您有NFS或SMB / CIFS共享），登录到数据库，或者发送tweet with R。它很可能是您的应用程序特有的，是的，它会有一些成本。