尽管有资源,但Spark作业处于ACCEPTED状态

时间:2019-10-31 10:29:29

标签: apache-spark yarn amazon-emr

我们在 AWS EMR 中运行Spark作业,我们经常遇到此问题,其中作业处于 ACCEPTED 状态,甚至不移至RUNNING状态尽管有资源或没有正在运行的作业。同样很奇怪的是,已用内存约为400 GB,当当前没有正在运行的作业时应该释放该内存。

需要采取哪些步骤或配置更改来解决此问题。

注意:由于群集是可伸缩的,因此作业正在与动态分配一起运行。

调度程序类型:公平调度程序

Accepted Jobs

请告知我是否还需要其他信息

0 个答案:

没有答案