初始Spark安装:执行程序计数上限为3

时间:2019-08-23 22:17:15

标签: apache-spark yarn

我有一个手动安装spark的边缘节点,该节点与纱线连接以在大型群集上提交作业。

spark-submit有效。但是,该配置不允许恰好有3个执行程序,分配的总内存约为10G。

这远远小于集群中的任何阈值。我敢肯定,这与手动Spark安装有关,可能与配置有关。


到目前为止我尝试过的解决方案:

搜索所有yarn-site.xml文件,并将yarn.resource.memory-mb值设置为一个大数字。

除此之外,我发现的其他值非常大且合理。


问题在于:该问题的潜在根源在哪里,以及如何解决该问题?

0 个答案:

没有答案