如何链接mapred和mapreduce工作

时间:2013-07-20 00:39:29

标签: hadoop mapreduce chaining

现在我有两个必须连接在一起的hadoop工作。一个是Mapred作业(旧api),另一个是Mapreduce作业(新API),这是因为我们用这两个作业的外部库。

我想知道是否有一种很好的方法可以将这两项工作联系起来。

我尝试过一种方法(首先使用JobClient.runjob()运行mapred作业,然后运行完第二个。)但是我将这个作业提交给hadoop clustor是个问题。如果我关闭我的本地终端,那么只有第一个作业会运行,第二个作业不会。这是因为Java代码在本地运行,所以有一个很好的解决方案吗?然后我可以将整个作业提交到集群,本地程序不需要继续运行。

0 个答案:

没有答案