对于Hadoop作业，“mapred.reduce.slowstart.completed.maps”的理想值是多少？为适当设置它应遵循哪些规则？
谢谢！
答案 0 :(得分：14)
这取决于您的工作，集群和利用率的许多特征：
您的作业需要多少个地图插槽才能达到最大地图容量：如果您的作业产生了1000个地图任务，但总共只有10个地图插槽（极端情况下可以演示一个点），那么尽早启动减速器可能会导致执行减少任务。在这种情况下，我会将您的慢启动设置为较大的值（0.999或1.0）。如果您的地图制作者需要一个年龄来完成 - 让其他人使用减速器
如果您的群集负载相对较轻（没有争用减速器插槽）并且您的映射器输出了大量数据，那么slowstart的低值将有助于您的工作提前完成（当其他地图任务执行时，将地图输出数据移动到reducers）。
可能还有更多