如何强制减速器级联?

时间:2013-04-11 15:12:37

标签: hadoop mapreduce cascading

只有减速器而不是映射器才能获得一些好处。

1 个答案:

答案 0 :(得分:1)

在Google网上论坛找到我的答案:

在执行分组时使用GroupBy,其中invariable将使用reducer:

previousPipe = new GroupBy(previousPipe); //this does a Group on Fields.All

减少文件数量(另一种具有较少耦合的替代方案)

previousPipe = new GroupBy(previousPipe, new Fields("rand"), 
               new RandonNumGen(Fields.Args));

新的RandonNumGen(Fields.Args)是您从Function构建的函数,用于创建创建临时随机数的新字段(“rand”)(临时意味着您稍后删除该字段)。

有关详细信息,请查看此Google Groups主题: