如果我通过spark-submit提交非火花jar进行聚类,会发生什么情况?

时间:2018-12-02 10:43:12

标签: java apache-spark

关于火花的整体情况不是很清楚。假设我创建了一个常规的Java jar,不涉及任何与spark相关的东西,没有sparksession,没有sparkcontext,没有rdd,没有数据集,那么如果我通过使用deply-mode = cluster的spark-submit将其提交到spark集群会发生什么?

我写了一个简单的jar,它只打印一些行,并且看起来可以在我的玩具spark上正常工作,我曾经认为这会导致一些错误,因为它不是spark应用程序...

我想知道在提交给具有许多节点的真实世界的Spark集群时是否可以获得相同的结果?

1 个答案:

答案 0 :(得分:2)

这可能取决于集群管理器和模式,但总的来说并不奇怪。 Spark应用程序是具有常规main功能的普通JVM应用程序,它没有实现特定的接口,并且缺少活动会话也不是问题。