我可以在Hadoop上运行只有mapper类(没有Reducer类的源代码)的Java源代码吗?

时间:2015-09-15 03:08:09

标签: java hadoop mapreduce

我只在源代码中创建mapper class ..

import ...
class mainClass {

class myMapper extends Mapper<Input and Output Pairs> {
      //body of mapper
    }
} // end of mainClass

1 个答案:

答案 0 :(得分:0)

是的,你可以。您有两个选择: -

如果您将0设置为减速器,则您的作业将仅调用地图。但是,您的地图输出不会被排序。

如果您需要对地图阶段进行分类输出,则可以不需要聚合,您可以使用身份缩减器。