有没有一种方法可以在Scalding中指定映射器的数量?

时间:2018-08-28 01:27:15

标签: mapreduce scalding

我对烫伤世界是陌生的。我的烫手工作将有多个阶段,我需要分别调整每个阶段。

我发现我们可以通过使用withReducers来更改减速器的数量。另外,我能够通过作业配置来设置输入数据的分割大小。但是,我看不到有任何方法可以即时更改子任务的映射器数量。

我错过了什么吗?有谁知道如何为我的子任务指定映射器的数量?谢谢。

1 个答案:

答案 0 :(得分:0)

获得一些答案/想法可能对其他共享相同问题的人有所帮助。

  

与mapper相比,控制reducers容易得多。

     

映射器由hadoop控制,没有类似的简单旋钮。您可以设置一些配置参数,以让hadoop知道要启动多少个地图任务。

     

此堆栈溢出可能会有所帮助:   Setting the number of map tasks and reduce tasks

我可以想到的一种解决方法是将您的主要任务更改为小型任务,您可以单独调整输入数据的大小(映射器数)。