Apache Spark独立群集调整参数

Question

我知道加载的问题。我正在与一个应用团队合作，我们已经建立了一个独立的火花集群。想知道什么是必须设置的参数或要注意的事项，以使集群的性能尽可能的工作？

我理解这是广泛的，这里的参数https://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.SparkConf很多，只是想知道是否有这样一组参数专家总是先设定然后调整之后？

Answer 1

正如您所说，您正在与应用程序团队合作，我认为您在多个应用程序之间共享了spark群集。

默认情况下，独立群集通过利用所有可用的执行程序来工作。

通过设置执行程序内存大小来控制资源分配。如果您使用--executor-memory标志的spark-submit set size。按--total-executor-cores标志设置最大总核心数。其他是部署模式，无论是客户端还是集群。默认情况下它是客户端。使用--deploy-mode cluster设置为群集

请求内存应该在群集中可用，否则独立群集也将允许应用程序的执行程序运行。