设置驱动程序内存>时,Spark Job停留在SUBMITTED 5 GB

时间:2017-06-04 00:00:44

标签: java apache-spark

我正在使用独立群集模式的Spark工作。当我在驱动程序线程中获得OOM时,我需要增加驱动程序内存。如果发现将驱动程序存储器设置为> 5 GB,提交的作业停留在驱动程序中提交,应用程序永远不会启动 我的机器中有64 GB的内存和16个内核 我在spark-default.conf中设置了驱动程序内存

1 个答案:

答案 0 :(得分:0)

从Spark Master UI

,应该在其中一个Executors中执行驱动程序。这就是为什么它的内存不应超过Executors内存。