如何在使用SNOW（或多核或......）时保存计算状态

Question

根据艰难的经验，我发现偶尔将我的长计算状态保存到磁盘，以便在出现故障时启动它们很有用。我可以在R中的分布式计算包（如SNOW或多核）中执行此操作吗？ 由于船长以不透明的方式从奴隶那里收集东西，所以这怎么办还不清楚。

Answer 1

这是（再次:-)一个艰难的。

您可以尝试使用save()或save.image()在节点上转储快照。然后，您可以尝试重新组织代码，以便节点可以在上一次快照之后恢复。

或者您可以尝试重新组织工作流程，以便节点“获取票证”并返回结果。这样，中央节点可以监控所有内容，您可以在那里记录中间结果。

无论哪种方式，你想要的东西都没有开箱即用（据我所知）。