Oozie工作流程,配置mapreduce操作以仅在一组文件上运行reducer / combiner

时间:2014-09-09 07:09:49

标签: hadoop mapreduce workflow oozie oozie-coordinator

我想在oozie工作流中为现有的mapreduce jar配置mapreduce操作(使用mapper,reducer,有时也使用combiner)文件,这样只在输入文件上运行reducer / combiner。

1 个答案:

答案 0 :(得分:0)

所有MapReduce作业都必须运行映射阶段,但是您可以让映射器通过以下任一方式直接传递数据:

  • 在使用IdentityMapper
  • 的旧版MR API中
  • 在新的MR API中,根本不指定mapper类,默认为充当身份映射器的基础Mapper