Spark:错误LiveListenerBus:SparkListenerBus已经停止

时间:2018-01-20 18:39:12

标签: apache-spark

在客户端或群集模式下提交Spark作业时出现此错误?基本上我正在尝试使用sc.repartition将数千个事件文件合并到一个文件中。最后,我能够看到包含事件的所有文件都合并到一个文件中。在日志/控制台中,我观察到数百条错误行,如下所示

  

错误LiveListenerBus:SparkListenerBus已经停止了!删除事件SparkListenerExecutorMetricsUpdate(67,WrappedArray())   18/01/20 18:21:01错误LiveListenerBus:SparkListenerBus已经停止了!删除事件SparkListenerExecutorMetricsUpdate(32,WrappedArray())

我正在使用Azure HDInsight spark cluster 3.5,它有Spark 2.0。

根据帖子Unable to understand error "SparkListenerBus has already stopped! Dropping event ..."。它看起来应该已经在Spark 2.0中得到了解决,但我发现它仍然存在。可以有任何解决方法吗?

0 个答案:

没有答案