在YARN上运行Spark而无需提交火花但使用Java

时间:2018-11-26 18:09:23

标签: apache-spark yarn

在带有YARN的HDP 2.4 Hadoop集群中,我想知道是否可以在不使用spark-submit --master=yarn程序的情况下运行Java Apache Spark程序,而直接由Java运行? (或者如果这确实是一种不好的做法)。

我的用例是拥有一个Java守护程序,该守护程序带有一个HTTP API在不同的HDP集群上执行Spark作业。

0 个答案:

没有答案