找到许多运行map-reduce程序的选项。任何人都可以解释以下命令之间的差异。如果有的话,会对Map-reduce作业产生什么影响。
java -jar MyMapReduce.jar [args]
hadoop jar MyMapReduce.jar [args]
yarn jar MyMapReduce.jar [args]
在这些命令中哪一个最好或者其他哪个?
可以使用下面的命令使用Web服务8088(YARN)的端口在Web服务正常上使用纱线和作业历史(如显示Hadoop和yarn命令)显示有关作业的所有信息的配置吗?
java -jar MyMapReduce.jar [args]
答案 0 :(得分:3)
它们都不比另一个好。执行java -jar
命令时,它与执行非Hadoop应用程序相同。如果您使用hadoop jar
或yarn jar
,则会使用/usr/bin/hadoop
和/usr/bin/yarn
脚本来设置环境。
除非你修改了任何脚本来设置其他变量,否则它们中的三个应该是相同的。
答案 1 :(得分:1)
这些选项有自己的规格:
java -jar MyMapReduce.jar [args]
以上期望所有hadoop jar都在jar的类路径中定义。
的情况
hadoop jar MyMapReduce.jar [args] and
yarn jar MyMapReduce.jar [args]
上述罐子将通过获取$ HADOOP_CLASSPATH中预定义的罐子来运行。