使用java程序在集群上远程运行Spark Job?

时间:2017-07-08 14:42:48

标签: apache-spark apache-spark-sql spark-dataframe

我在公司服务器中运行Spark Standalone集群,其中我有1个主服务器和10个工作服务器。根据我的要求,我已经构建了一个spark jar作业,它将从Azure数据湖存储中读取数据,并使用Spark SQL对其进行一些查询并将结果保存在数据库中。 Spark群集中的所有VM都有Ubuntu。为了开发一个火花工作,我使用我的笔记本电脑,它有Windows和使用eclipse我创建一个jar并复制到集群的主vm。现在要运行这个工作我必须打开一个putty会话来掌握集群的VM并使用spark-submit提交作业。但我想要的是通过使用我运行的java程序触发jar作为集群上的作业启动在我的笔记本电脑中。我只想运行一个java程序,它将在集群上部署jar,远程在其他地方。

0 个答案:

没有答案