我正在开发一个使用IntelliJ在HD Insights Cluster（基于YARN）中运行的spark应用程序。目前，我直接从IntelliJ通过Azure HD Insights插件提交作业。反过来，这会使用Livy API远程提交作业。
当我完成开发代码时，我希望流媒体作业能够永久运行。目前，如果作业失败五次，程序将停止并且不会重新启动。有没有办法改变这种行为？或者大多数人在失败后使用什么解决方案来重启火花？
答案 0 :(得分：0)
重新启动Yarn Spark作业由Yarn设置控制。因此，您需要增加纱线中火花应用（纱线应用大师）的重启次数。我相信它是：yarn.resourcemanager.am.max-attempts。
在HDInsight中，转到Ambari UI并在Yarn中更改此设置 - ＆gt;配置 - ＆gt;高级纱线网站。
为了提交生产作业，您可以直接使用livy API，如下所述：https://docs.microsoft.com/en-us/azure/hdinsight/hdinsight-apache-spark-eventhub-streaming#run-the-application-remotely-on-a-spark-cluster-using-livy