基于硬件的apache spark的最佳设置

Question

是否有针对spark-submit可调参数的硬件系统，cpu内核及其相关内存的映射/转换： 执行记忆 执行，内核 NUM-执行人 该应用程序很可能与这些可调参数有关，但我正在寻找一个基本的经验法则。 Apache spark在群集模式下使用hdfs在yarn上运行。 并非spark / hadoop纱线集群中的所有硬件系统都具有相同数量的cpu核心或RAM。

Answer 1

没有拇指规则，但在考虑

之后

1. off heap memory
2. 正在运行的应用程序和其他hadoop dameons的数量
3. 资源经理需要
4. HDFS IO

等

您可以派生出合适的配置。请查看此url