使用" executor-memory"进行Spark Job Tuning的问题参数

时间:2016-09-20 14:10:25

标签: performance memory apache-spark spark-streaming

我们有3个计算节点,每个计算节点有8个核心,在我们的集群中分配了30 GB的RAM,我们正在执行性能测试以获得最佳性能。

通过考虑以下参数来实现最佳性能。

master yarn --num-executors 5 --executor-cores 4 --executor-memory 23g

这里关注的是当我们只有23*5=115g可用于我们的群集时,它如何与30*3=90g内存一起正常工作。我们尝试将执行器内存从16g考虑到25g,但仅在23g时达到最佳值。 我们是否有遗漏的东西,想要了解这个概念。

0 个答案:

没有答案