一起编写MapReduce和YARN应用程序

时间:2018-10-04 08:25:02

标签: hadoop yarn hadoop2 hadoop-partitioning apache-twill

我想使用Hadoop 2.6.5(在我自己的本机集群中)运行MapReduce应用程序,并且想更新YARN中的某些内容,因此我看到可以编写自己的YARN应用程序(https://hadoop.apache.org/docs/r2.6.5/hadoop-yarn/hadoop-yarn-site/WritingYarnApplications.html)。 但是似乎如果我以这种方式(使用YARN客户端)运行YARN,则无法将Job Job类与MapReduce范例(Map and Reduce Function)一起使用。

是否可以编写自己的ApplicationManager并通过简单的Job类使用MapReduce范例?

这些是我发现的有关编写YARN应用程序的一些有用示例 https://github.com/noitcudni/yarn https://github.com/hortonworks/simple-yarn-app https://github.com/blrunner/yarn-beginners-examples/blob/master/src/main/java/com/wikibooks/hadoop/yarn/examples/MyClient.java

*使用Spring或Twill将导致相同的问题。

0 个答案:

没有答案