mclapply,折叠和参数探索范围

时间:2011-12-21 03:36:40

标签: r parallel-processing

将参数范围探索和交叉验证折叠合并到单个mclapply()命令中的“最佳”或“推荐”方法是什么?我担心的是,如果我在参数范围内包装mclapply(),那么如果某些交叉验证运行在其他核心运行之前完成,则某些核心可能处于空闲状态。我的第一个想法是迭代交叉产品parameter_range X折叠,但这将需要一些混乱的CV折叠结果组装。我正在使用R 2.14“并行”。

1 个答案:

答案 0 :(得分:1)

这取决于 - 通常你想要过度提供核心,这样如果只有少数进程挨饿它就不会影响性能。如果您的计算速度足够慢,您可以禁用预调度,以便空闲核心再次被送入(尽管过程管理会受到相当大的损失)。如果两者都不起作用,你将不得不创建交叉产品,但组装并不是那么混乱(给定常数的CV实际上很容易)。