Spark驱动程序获取内存不足

Question

我正在使用Spark群集，在该群集中我面对驱动程序中的OutOfMemory。但是在这种情况发生后，应用程序仍会保留资源很长时间，并且纱线队列中的其他作业将饿死。发生OutOfMemory并杀死应用程序后，资源没有被释放的原因是什么？

Answer 1

没有足够的信息来回答，但让我尝试。默认情况下，Yarn会尝试重新尝试5次。您可以将尝试次数更改为1或更少的数字并进行检查。