我试图一个接一个地运行几个spark应用程序并使用oozie安排它们。我使用了一个ssh动作,它应该在我的spark应用程序上运行spark-submit。 当从服务器运行spark应用程序时,应用程序开始运行,但是,当我使用oozie ssh动作来运行spark-submit时,我可以看到出现了一个新的spark应用程序,但是应用程序的状态仍然停留在“ACCEPTED”上“从来没有真正开始跑步。
我的ssh动作如下:
<host> ${user}@${host}</host>
<command>spark-submit</command>
<args>--driver-memory</args>
<args>6G</args>
<args>--deploy-mode</args>
<args>cluster</args>
<args>--class</args>
<args>main.Application</args>
<args>--executor-memory</args>
<args>6G</args>
<args>--master</args>
<args>yarn-cluster</args>
<args>duplicate.jar</args>
... [the jar's arguments]
<capture-output />
我是否正确使用oozie ssh动作?
有没有人尝试过我正在尝试做的事情?
有人知道为什么应用程序永远不会开始运行吗?