使用命令“hadoop jar”和“yarn -jar”运行jar文件有什么区别?
我已经在我的MAC上成功使用了“hadoop jar”命令,但我想确保在我的四个核心上执行是正确的并且是并行的。
感谢!!!
答案 0 :(得分:8)
简答
它们可能与您相同,但即使它们不是,它们也应该尽可能地利用您的群集。
更长的答案
/usr/bin/yarn
脚本设置执行环境,以便可以运行所有yarn命令。 /usr/bin/hadoop
脚本并不像纱线特定功能那样关注。但是,如果您将群集设置为使用yarn作为mapreduce(MRv2)的默认实现,则hadoop jar
可能与yarn jar
的mapreduce作业相同。
无论哪种方式你可能都没问题,但你总是可以检查资源管理器(或作业跟踪器)Web界面,看看你的作业是如何在整个集群中分布的(无论是否是单个节点集群) )