Spark 2.3.1错误AsyncEventQueue:70-从队列appStatus中删除事件

时间:2019-03-17 13:16:19

标签: apache-spark pyspark

  

错误AsyncEventQueue:70-从队列中删除事件   appStatus。这可能意味着其中一个听众太慢并且   无法跟上启动任务的速度   调度程序。

我使用的是Spark版本2.3.1,但仍然出现错误(相信> 2.3.0的spark版本可以很方便地解决此问题)。数据大小是否引起问题?有什么可能的解决方案?

我使用spark.scheduler.listenerbus.eventqueue.size =将大小从10000(默认)更改为100000,但我担心这会推迟错误。

任何帮助将不胜感激。

0 个答案:

没有答案