减速器后运行功能

时间:2014-04-10 15:13:50

标签: java hadoop mapreduce

在reducer函数完成后,java中是否有一个函数执行一次。我想要做的是尝试优化reducers的输出,所以我需要在reducers完成算法之后运行一些代码,有可能这样做。

1 个答案:

答案 0 :(得分:1)

您可以使用ChainReducer在同一个reducer任务中Mappers之后添加任意数量的Reducer

如果要应用其他Reducer,则需要使用身份映射器和要执行的reducer任务启动新任务。

正如文件中所述:

  

使用ChainMapper和ChainReducer类可以组合看起来像[MAP + / REDUCE MAP *]的Map / Reduce作业。这种模式的直接好处是磁盘IO的大幅减少。