使用hadoop和java命令执行map-reduce作业之间有什么区别

时间:2014-08-07 10:28:11

标签: java hadoop mapreduce hdfs yarn

找到许多运行map-reduce程序的选项。任何人都可以解释以下命令之间的差异。如果有的话,会对Map-reduce作业产生什么影响。

     java -jar MyMapReduce.jar [args] 

     hadoop jar MyMapReduce.jar [args] 

     yarn jar MyMapReduce.jar [args] 

在这些命令中哪一个最好或者其他哪个?

可以使用下面的命令使用Web服务8088(YARN)的端口在Web服务正常上使用纱线和作业历史(如显示Hadoop和yarn命令)显示有关作业的所有信息的配置吗?

     java -jar MyMapReduce.jar [args] 

2 个答案:

答案 0 :(得分:3)

它们都不比另一个好。执行java -jar命令时,它与执行非Hadoop应用程序相同。如果您使用hadoop jaryarn jar,则会使用/usr/bin/hadoop/usr/bin/yarn脚本来设置环境。

除非你修改了任何脚本来设置其他变量,否则它们中的三个应该是相同的。

答案 1 :(得分:1)

这些选项有自己的规格:

   java -jar MyMapReduce.jar [args] 

以上期望所有hadoop jar都在jar的类路径中定义。

的情况

   hadoop jar MyMapReduce.jar [args]  and 
   yarn jar MyMapReduce.jar [args] 

上述罐子将通过获取$ HADOOP_CLASSPATH中预定义的罐子来运行。