如何将Hadoop reducer的输出路径保存到变量?
此变量将被所有其他MR作业使用。
这些工作将是连续的。
所有顺序MR作业都会将相应的输出写入该输出目录。
我需要相应地更新它们的路径变量。
答案 0 :(得分:0)
看看“Oozie”。它是一个Hadoop工作流引擎,它允许你所描述的内容。多个作业可以将“输入”作为上一个作业的“输出”。
还有其他解决方案,例如“Cascading”API。
http://www.concurrentinc.com/products/ http://yahoo.github.com/oozie/releases/2.0.0/#Quick_Start