Oozie SSH行动与其他行动的利弊

时间:2016-02-22 01:59:46

标签: java hadoop ssh apache-spark oozie

我想了解使用专门的oozie操作(例如java,hive,spark等)优于SSH操作的优势,

在普通的shell动作的情况下,使用专门的oozie动作的优势是显而易见的:因为oozie将每个动作转换为map-reduce作业,shell动作转换为1-map 0-reduce作业,这意味着shell命令将在一些随机选择的集群节点上执行,因此为了保证正确执行,shell命令应该存在于每个集群节点上,这可能会很麻烦

SSH动作怎么样?我们明确指定了一个节点,因此仅在该特定节点上安装所有必需的软件和命令就足够了,因此我们可以使用SSH操作执行java,hive,spark等任何其他操作

为什么我们需要专门的行动呢?使用它们有什么好处?

0 个答案:

没有答案