有没有办法使用API​​提交spark作业

Question

我可以使用控制台在linux服务器上提交spakr作业。但是，是否有任何API或某些框架可以在linux服务器上提交spark作业？

Answer 1

您可以使用端口7077在火花集群中提交火花作业，而不是使用spark-submit。

val spark = SparkSession
.builder()
.master(spark://master-machine:7077)

Answer 2

你可以看看Livy服务器。它是在Hortonworks的GA模式和Apache Hadoop的Cloudera发行版中。我们取得了很大的成功。它的文档很好，可以开始使用。当通过Livy提交时，Spark作业会立即启动，因为它内部运行了多个SparkContexts。