在map之间传递变量可以减少作业

时间:2015-05-30 13:37:44

标签: hadoop dictionary mapreduce jobs reduce

我无法理解如何将变量(输出)从Job1传递到Job2。

假设我的Job1是WordCount。最终减速机输出N = 230。

我的第二份工作需要这些信息的逻辑。但我不希望它作为Mapper输入。我希望输入与Job1相同。

我不喜欢使用Counter,因为我认为它不太可靠。

由于

1 个答案:

答案 0 :(得分:1)

您可以将N传递给第二个作业,将N添加到第二个作业配置对象。要在配置中添加任何键/值,您可以使用'设置'来自客户提交作业的方法。然后,从映射器中,您可以使用' get'来检索配置中的N值。方法。看看'配置'文档,您会找到' get',' set'以及许多专门的方法,具体取决于您要添加的值的原始类型。