实现简单的hadoop调度程序,如何从外部程序提交hadoop作业?

时间:2014-09-14 11:08:33

标签: java hadoop mapreduce oozie

我想在java中实现一个简单的hadoop调度程序。我是Hadoop的新手,所以在查看oozie代码时,我迷路了。我需要一种干净的方式在我的代码中提交mapreduce作业,就像我在命令行上运行它一样。例如,此命令用于使用Cloudera提供的示例jar文件在hadoop上计算PI。

bash-4.1$ /opt/cloudera/parcels/CDH-5.0.0-1.cdh5.0.0.p0.47/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 2 1000

所以我希望找到能够执行一些配置,jar文件,主类和参数的代码。

1 个答案:

答案 0 :(得分:0)

使用以下命令:

hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 10 100