我们有3个计算节点,每个计算节点有8个核心,在我们的集群中分配了30 GB的RAM,我们正在执行性能测试以获得最佳性能。
通过考虑以下参数来实现最佳性能。
master yarn --num-executors 5 --executor-cores 4 --executor-memory 23g
这里关注的是当我们只有23*5=115g
可用于我们的群集时,它如何与30*3=90g
内存一起正常工作。我们尝试将执行器内存从16g考虑到25g,但仅在23g时达到最佳值。
我们是否有遗漏的东西,想要了解这个概念。