将Reducer输出目录路径保存到Hadoop中的变量

时间:2011-05-30 08:11:39

标签: variables path hadoop reducers

如何将Hadoop reducer的输出路径保存到变量?

此变量将被所有其他MR作业使用。

这些工作将是连续的。

所有顺序MR作业都会将相应的输出写入该输出目录。

我需要相应地更新它们的路径变量。

1 个答案:

答案 0 :(得分:0)

看看“Oozie”。它是一个Hadoop工作流引擎,它允许你所描述的内容。多个作业可以将“输入”作为上一个作业的“输出”。

还有其他解决方案,例如“Cascading”API。

http://www.concurrentinc.com/products/ http://yahoo.github.com/oozie/releases/2.0.0/#Quick_Start