标签: java apache-spark
我正在使用独立群集模式的Spark工作。当我在驱动程序线程中获得OOM时,我需要增加驱动程序内存。如果发现将驱动程序存储器设置为> 5 GB,提交的作业停留在驱动程序中提交,应用程序永远不会启动 我的机器中有64 GB的内存和16个内核 我在spark-default.conf中设置了驱动程序内存
答案 0 :(得分:0)
,应该在其中一个Executors中执行驱动程序。这就是为什么它的内存不应超过Executors内存。