从java应用程序启动hadoop 2.2(Yarn)上的mapreduce作业

时间:2013-12-13 21:53:12

标签: java hadoop mapreduce yarn

我正在尝试从java应用程序调用mapreduce作业。在以前的hadoop版本(1.x)中,我创建了一个Configuration对象和一个Job对象,在Configuration中设置 mapred.job.tracker fs.default.name 并运行工作。现在,在hadoop 2.x中,作业跟踪器不再存在,不存在任何关于如何以编程方式运行MR1作业的文档。有什么想法吗?

我正在寻找的是这里给出的解释:Calling a mapreduce job from a simple java program

1 个答案:

答案 0 :(得分:1)

对于旧版MR和YARN,MR Client API是相同的。可以在Configuration对象上设置属性,而不是在xml配置文件中指定。检查文档和所需的配置herehere以在YARN中设置和执行简单的MR作业。