Apache Spark没有看到我机器的所有内存

Question

我创建了一个包含8台机器的Spark集群。每台机器有104 GB的RAM和16个虚拟核心。

我觉得Spark每台机器只能看到42 GB的RAM，这是不正确的。你知道为什么Spark没有看到机器的所有RAM吗？

PS：我正在使用Apache Spark 1.2

Answer 1

似乎是一种常见的误解。显示的是spark.storage.memoryFraction： https://stackoverflow.com/a/28363743/4278362

Answer 2

Spark不会尝试猜测可用内存。执行程序使用您使用spark.executor.memory设置指定的内存。看起来它设置为42 GB。