如何使用集群在开发环境中运行Spark流程？

Question

我正在使用IntelliJ IDEA，Scala和SBT实现不同的Apache Spark解决方案，但是，每次我要运行实现时，都需要在创建jar之后执行下一步：

• Amazon：使用SSH将.jar发送到主节点，然后运行 命令行spark-shell。
• Azure：我正在使用Databricks CLI，因此每次我想上传一个 jar，我卸载旧库，删除集群中存储的jar， 最后，我上传并安装新的.jar。

因此，我想知道是否可以一次单击即可完成所有这些过程，例如使用IntelliJ IDEA RUN按钮或使用另一种方法来简化所有这些过程。另外，我正在考虑将詹金斯作为替代方案。

基本上，我正在寻找更简单的部署选项。