我对烫伤世界是陌生的。我的烫手工作将有多个阶段,我需要分别调整每个阶段。
我发现我们可以通过使用withReducers
来更改减速器的数量。另外,我能够通过作业配置来设置输入数据的分割大小。但是,我看不到有任何方法可以即时更改子任务的映射器数量。
我错过了什么吗?有谁知道如何为我的子任务指定映射器的数量?谢谢。
答案 0 :(得分:0)
获得一些答案/想法可能对其他共享相同问题的人有所帮助。
与mapper相比,控制reducers容易得多。
映射器由hadoop控制,没有类似的简单旋钮。您可以设置一些配置参数,以让hadoop知道要启动多少个地图任务。
此堆栈溢出可能会有所帮助: Setting the number of map tasks and reduce tasks
我可以想到的一种解决方法是将您的主要任务更改为小型任务,您可以单独调整输入数据的大小(映射器数)。