通过YARN上的IntelliJ提交Spark作业

Question

我正在尝试在IntelliJ中使用Spark创建应用程序并将其推送到YARN中。到目前为止，我正在阅读如何通过 spark-submit 推送 jars ，但我真的想避免在终端工作。

你能建议我设置什么，如何设置甚至更好，在哪里使用Spark应用程序，并能够像我在IntelliJ中那样调试它们

我正在使用Ambari，我在那里设置了YARN和Spark集群。可以说这是我的IP ResourceManager 是 bigdata5.local：8050 。

如何设置setMaster方法， 可能spark.setMaster("spark://bigdata5.local:8050")？因为我正在收到关于

的错误

INFO Utils: Successfully started service 'SparkUI' on port 4040. 17/06/07 14:06:50 INFO SparkUI: Started SparkUI at http://localhost:4040 17/06/07 14:06:50 INFO AppClient$ClientEndpoint: Connecting to master spark://bigdata5.local:8050... 17/06/07 14:06:50 ERROR TransportResponseHandler: Still have 1 requests outstanding when connection from bigdata5.local:8050 is closed

请告诉我最佳做法：）

更新1：

也过了一段时间，我收到了这个错误：

java.io.IOException: An established connection was aborted by the software in your host machine