群集上的Spark堆大小内存出现问题

时间:2018-11-22 13:27:10

标签: java apache-spark memory-management heap-memory

我正在处理一个在群集上分配的项目。最近,我不时收到以下消息:

Exception in thread "main" java.lang.IllegalArgumentException: System memory 5767168 must be at least 471859200. Please increase heap size using the --driver-memory option or spark.driver.memory in Spark configuration.

此应用程序已部署在群集上,然后应该更改executorMemory属性吗? 我可以在Maven项目的application.properties文件中执行此操作吗,已经指定了spark.executorMemory并将其设置为1024? 谢谢!

0 个答案:

没有答案