标签: apache-spark yarn spark-submit
我有一个概念上的怀疑。
关于YARN和SPARK,我有2个YARN(AM)28GB,4个CPU,工作点56GB,8个cpus。
我总是通过spark-submit选项中的YARN纱线群提交我的应用程序。
如果YARN服务器资源较少,如何使用所有内存和工作节点cpus?
工作日设置是否可以与YARN设置重叠?
如果我的“spark.executor.memory”参数大于YARN内存,是否会使用它?
充分利用我的工作节点的潜力吗?