Spark和YARN - 如何与他们合作

时间:2017-10-10 13:01:28

标签: apache-spark yarn spark-submit

我有一个概念上的怀疑。

关于YARN和SPARK,我有2个YARN(AM)28GB,4个CPU,工作点56GB,8个cpus。

我总是通过spark-submit选项中的YARN纱线群提交我的应用程序。

如果YARN服务器资源较少,如何使用所有内存和工作节点cpus?

工作日设置是否可以与YARN设置重叠?

如果我的“spark.executor.memory”参数大于YARN内存,是否会使用它?

充分利用我的工作节点的潜力吗?

0 个答案:

没有答案