增加yarn-site.xml中的yarn.scheduler.maximum-allocation-mb值

时间:2019-04-19 03:08:33

标签: apache-spark machine-learning pyspark yarn oozie

yarn.scheduler.maximum-allocation-mb值在yarn-site.xml中设置为143360 MB。我在oozie中运行pyspark作业时遇到错误。我想增加yarn-site.xml中的值,但我没有增加它值的权限。

我有办法在oozie中设置yarn.scheduler.maximum-allocation-mb值吗? 还是将yarn-site.xml(来自服务器)复制到我的local / hdfs目录中,增加其值,然后在Oozie工作流程中调用它?

错误:

Oozie Launcher失败,主类[org.apache.oozie.action.hadoop.SparkMain],main()抛出异常,所需的执行者内存(133120 + 22000 MB)高于此群集的最大阈值(143360 MB) !请检查“ yarn.scheduler.maximum-allocation-mb”和/或“ yarn.nodemanager.resource.memory-mb”的值。 java.lang.IllegalArgumentException:所需的执行程序内存(133120 + 22000 MB)高于此集群的最大阈值(143360 MB)!请检查“ yarn.scheduler.maximum-allocation-mb”和/或“ yarn.nodemanager.resource.memory-mb”的值。

NSMALLNEGINTS

0 个答案:

没有答案