Azure上的HDInsight SparkHistory不显示任何应用程序

Question

我在 Azure 上创建了 Spark HDInsight群集。该集群用于运​​行不同的工作（Spark或Hive）。

直到一个月前，可以在 Spark History Server仪表板中看到作业的历史记录。似乎在引入Spark 1.6.0的更新之后，此仪表板不再显示任何应用程序。

我还尝试通过执行 get-azurehdinsightjob 的PowerShell cmdlet作为sugested here来绕过此问题。输出再次是一个空的应用程序列表。

我很感激任何帮助，因为这个仪表板曾经工作过，现在我的所有实验都停滞了。

Answer 1

我设法通过删除 wasb：/// hdp / spark-events 中的所有内容来解决问题。也许问题与文件夹的大小有关，因为不能附加其他日志文件。

以下所有作业现已成功显示在Spark History Server仪表板中。