Resque工作人员的最佳数量,以获得最佳性能

时间:2013-03-27 07:27:49

标签: ruby mongodb parallel-processing resque

我在学术研究中使用Resque实现廉价的并行性 - 我将大量任务分成相对较小的独立部分并将它们提交给Resque。这些任务做了一些繁重的工作,广泛使用数据库(MongoDB,如果这很重要)和CPU。

所有这一切都非常缓慢 - 因为我的相对较小的数据集部分创造了1000个工作岗位,并且2个工人的14个小时的持续工作仅足以完成约800个工作。正如您可能已经怀疑的那样,这种速度不仅令人沮丧。

我有一个四核处理器(Core i5,而不是高端),除了Mongo实例和resque工作者,在相当长的一段时间内没有在CPU上安排任何事情。

既然你知道我的故事,我要问的是 - 如何从这个设置中挤出最大值?我相信3个工作人员+ 1个mongo实例将很快填满所有核心,但同时mongo不必一直工作..

0 个答案:

没有答案