hadoop jar和yarn -jar之间的差异

时间:2014-03-31 18:16:39

标签: hadoop mapreduce command yarn

使用命令“hadoop jar”和“yarn -jar”运行jar文件有什么区别?

我已经在我的MAC上成功使用了“hadoop jar”命令,但我想确保在我的四个核心上执行是正确的并且是并行的。

感谢!!!

1 个答案:

答案 0 :(得分:8)

简答

它们可能与您相同,即使它们不是,它们也应该尽可能地利用您的群集。


更长的答案

/usr/bin/yarn脚本设置执行环境,以便可以运行所有yarn命令。 /usr/bin/hadoop脚本并不像纱线特定功能那样关注。但是,如果您将群集设置为使用yarn作为mapreduce(MRv2)的默认实现,则hadoop jar可能与yarn jar的mapreduce作业相同。

无论哪种方式你可能都没问题,但你总是可以检查资源管理器(或作业跟踪器)Web界面,看看你的作业是如何在整个集群中分布的(无论是否是单个节点集群) )