在客户端或群集模式下提交Spark作业时出现此错误?基本上我正在尝试使用sc.repartition
将数千个事件文件合并到一个文件中。最后,我能够看到包含事件的所有文件都合并到一个文件中。在日志/控制台中,我观察到数百条错误行,如下所示
错误LiveListenerBus:SparkListenerBus已经停止了!删除事件SparkListenerExecutorMetricsUpdate(67,WrappedArray()) 18/01/20 18:21:01错误LiveListenerBus:SparkListenerBus已经停止了!删除事件SparkListenerExecutorMetricsUpdate(32,WrappedArray())
我正在使用Azure HDInsight spark cluster 3.5,它有Spark 2.0。
根据帖子Unable to understand error "SparkListenerBus has already stopped! Dropping event ..."。它看起来应该已经在Spark 2.0中得到了解决,但我发现它仍然存在。可以有任何解决方法吗?