Hortonworks HDP，在Intellij Idea中以群集模式在纱线上运行Java Spark应用程序

Question

我是Hortonworks Data Platform（HDP）的新手。我有一个单独运行的功能齐全的HDP群集（不是hortownworks沙箱），并且我具有对该群集中所有计算机的root访问权限。我按照this指南在Intellij Idea中使用Java设置了Spark开发环境。我正在本地台式机上开发应用程序。要运行该应用程序，我必须执行以下操作：

1. 编写用于Spark的Java程序
2. 在Intellij Idea中使用mvn package进行构建
3. 通过SFTP将jar文件上传到Spark主节点
4. SSH到Spark主节点，并使用./bin/spark-submit --class "MyClass" --master yarn /path/to/MyJar.jar
提交spark作业

它运行完美，我可以在 Ambari UI→Yarn→ResourceManager UI→Applications 中检查作业。问题是，每当我对代码进行更改时，我都必须完成整个过程。

有什么方法可以自动执行此过程？是否可以通过单击将Intellij Idea配置为在群集上构建，部署和运行Spark应用程序？这样我就可以运行和调试我的应用程序，而无需执行整个过程。我已经研究过this和this，但没有喜悦。