为什么我的Spark应用程序运行几次后才出现内存错误?

时间:2017-11-27 22:41:44

标签: apache-spark memory memory-management garbage-collection out-of-memory

在启动新的EMR群集后,我成功运行了两次spark应用程序。在多次运行不同的Spark应用程序后出现了内存问题,我再次运行了第一个spark应用程序,并且出现了内存错误。

我重复这一系列事件三次,每次都会发生。可能会发生什么?不应该在运行之间释放所有内存吗?

0 个答案:

没有答案