Hadoop:在两个作业之间执行本地方法

时间:2013-07-30 15:52:43

标签: function methods hadoop mapreduce local

有没有办法在两个后续的MapReduce作业之间对数据执行(相对较短的)本地方法?

如果是,如何完成?

提前致谢!

1 个答案:

答案 0 :(得分:1)

一种简单的方法是:

  1. 声明您的工作对象Job job1 = new Job(conf1);Job job2 = new Job(conf2);
  2. 为这些作业设置正确的映射器/缩减器和作业名称。
  3. 在Main函数中,您可以执行以下操作:

    job1.waitForCompletion(true);
    //execute your local method
    method();
    job2.waitForCompletion(true);