我有一个手动安装spark的边缘节点,该节点与纱线连接以在大型群集上提交作业。
spark-submit
有效。但是,该配置不允许恰好有3个执行程序,分配的总内存约为10G。
这远远小于集群中的任何阈值。我敢肯定,这与手动Spark安装有关,可能与配置有关。
到目前为止我尝试过的解决方案:
搜索所有yarn-site.xml
文件,并将yarn.resource.memory-mb
值设置为一个大数字。
除此之外,我发现的其他值非常大且合理。
问题在于:该问题的潜在根源在哪里,以及如何解决该问题?