标签: apache-spark yarn amazon-emr
我们在 AWS EMR 中运行Spark作业,我们经常遇到此问题,其中作业处于 ACCEPTED 状态,甚至不移至RUNNING状态尽管有资源或没有正在运行的作业。同样很奇怪的是,已用内存约为400 GB,当当前没有正在运行的作业时应该释放该内存。
需要采取哪些步骤或配置更改来解决此问题。
注意:由于群集是可伸缩的,因此作业正在与动态分配一起运行。
调度程序类型:公平调度程序
请告知我是否还需要其他信息