如何降低mapreduce工作的速度

Question

我有一张地图减少工作。 我用过

job.setNumReduceTasks(0);

控制它的速度。 有没有其他方法来减慢工作的速度。 我们担心运行速度太快可能会影响我们的数据库。

Answer 1

您可以利用纱线支持的队列。例如，您可以创建一个对内存和CPU内核具有适当限制的队列，然后设置您的作业配置以使用该队列启动map reduce作业。 我建议您浏览fair scheduler上的以下文档。

对于当前设置numReducers = 0的解决方案，我认为它可能不是限制计算的最佳方法。